В функции OnEncryptClick и OnDecryptClick добавлена блокировка отрисовки (WM_SETREDRAW: FALSE) на время вставки текста в RichEdit.
Добавлен принудительный вызов RedrawWindow с флагами RDW_INVALIDATE | RDW_UPDATENOW | RDW_ALLCHILDREN после тяжелых операций.

Это должно решить проблему с некорректной перерисовкой окна (графические артефакты) после использования ресурсоемких алгоритмов.

В облаке
disk.yandex.ru/d/pSxwq7mMhKsOwg