Text Duplicate Killer (TDK) - сортировка, удаление дублирующихся строк, работа с хеш сегментами для ускорения работы с очень большыми файлами, поддержка всех возможных форматов строки. У меня 240к акков пробегает за пару сек.