Почитал вышесказанное, и частично даже согласен, но частично. Можно скачать 4 десятка утилит с insidepro, можно прочесть "Библию Linux" и .т.п. можно и Cygwin поставить и мозг сломать и пальцы. Всегда на задачу есть множество решений, но я человек ленивый и хочу самое простое

И так утилиту переписал почти полностью, разделил операции, получилось так:

1. чистка от не печатаемых символов и резка по длине, операции (remove и trim). Можно запускать в паре через пробел.

2. поиск дубликатов (duplicate), отдельная операция.

3. Сортировка (sort), отдельная операция.

4. Подсчет слов в словаре (calculate), отдельная операция, в автоматическом режиме удобно печатать отчет.

Очистка работает напрямую и не ест память, теоретически можно словари любого размера чистить, но на практике нужно тестировать.

Поиск дубликатов и сортировка держит в памяти только полезные данные, т.е. дубликаты отбрасываются во время чтения из словаря.

Пример:

wordlistcleaner -a trim remove

wordlistcleaner -a trim

wordlistcleaner -src Dict.dic -new Dict_new.dic remove

wordlistcleaner -a calculate -ext txt

wordlistcleaner -src Dict.dic -new Dict_new.dic duplicate

и т.д.

Качать тут wordlistcleaner2