JTR один сбрутил, сенкс, но тайна алгоритма осталась нераскрытой. Могу лишь предположить что это модифицированный MD5 апача судя по его же докам на htpasswd.exe ...