Сначал нужно указать переменные среды.

Пуск -> Настройка -> Панель управления -> Система -> Дополнительно -> Переменные среды

Изменяешь переменную PATH, если она у тебя пустая, то прописываешь c:\masm32\bin, если он находится здесь (компилятор), а если не пустая, то ставишь в конце ; и опять пишешь путь.

Запускаешь RadASM, Настройка -> Programming languages, выбираешь masm.ini.