Наткнулся github.com на очень интересную программульку кто нибудь тестил ее duplicut

Из особенностей для себя выделю:

Обрабатывает огромные списки слов, даже те, размер которых превышает доступную оперативную память.

Удаление дубликаты строк без сортировки

Я только начал ей пользоваться полет нормальный