ссылку на прогу выложите, я что-то не нашел.

http://rghost.ru/8QkpJggPT

Из-за non-ASCII символов скорее всего

После их удаления, а потом сортировки - бОльший словарь на гиг меньше стал)

создавай

Опять фигня почему после программы RemoveNonLatinPasswords.exe

выходной размер словаря больше входного притом что вырезано 26 мб?

Наверное сортировка разная.

бывает два вида или так 123456789aaaaaaaannnnnnnnnn или так

123456789

aaaaaaaaa

nnnnnnnnn

и если словарь отсортирован вторым способом то размер словаря увеличивается.

Лучше всего чистить и склеивать и сортировать в Линуксе. Проверенно многократно намного быстее и чише словари получаются в линуксе.

cat 1.lst 2.lst 3.lst | sort | uniq | sed -n '/^.\{8\}/p' > result.txt

sed '/[^\t\n\r -~]/d' 1.txt > ochishen.txt

tr -d '\r' bezCR.dic

comm -13 1.dic 2.dic > rezultat.dic удаляет из словаря 2 все пароли которые в словаре 1

Вот так правильнее:

sed '/^[\t\n\r -~]*$/!d' 1.dic > ASCII.dic

а нет ли готовой строки чтоб sed'ом словарь на кириллице перевести в раскладку латиницу? ну как если забыли переключить при наборе.

спасибо