Удаляет дубли любого размера, не портит формат

очень быстро.

Качаем, разархивируем, создаем файл remove_dubles с расширением .bat

В файле пишем:

Код:

App.Merge.exe o="rez_out.txt" t=4 "rez.txt"

pause

rez.txt - файл, в котором мы хотим удалить дубликаты.

rez_out.txt - файл, который мы получим в итоге.

Софт с батником я залил, для тех кто в танке батник открывается любым блокнотом: скачать

Да и не забудьте положить файлы в эту же папку.

Софт может объединять сразу несколько файлов и после удалять дубли, для этого просто вписываем нужные нам файлы:

Код:

App.Merge.exe o="rez_out.txt" t=4 "rez.txt" "rez2.txt" "rez3.txt"

pause

rez.txt - файл, в котором мы хотим удалить дубликаты.

rez2.txt - 2-й файл, в котором мы хотим удалить дубликаты.

rez3.txt - 3-й файл, в котором мы хотим удалить дубликаты.

rez_out.txt - общий файл, который мы получим в итоге.

Также можно прописать различные опции:

o=[out-file] - Выходной файл.

t=[threads] - Потоки, используется для ускорения сортировки вверх только.

c=[mem] - Используется для управления, сколько оперативной памяти для использования в МБ. По умолчанию 1024. блокированного в 3072.

min=[num] - Минимальная длина слова. По умолчанию = 1

max=[num] - Максимальная длина слова. По умолчанию = 4096.

Формат команды:

App.Merge.exe o="output-file.txt" t=4 [options] ... "word-list1.txt" "word-list2.lst" "directory1" ...

Для анализа отчета словесного списка:

App.Merge.exe r = "словарь-list1.txt"

Двойные кавычки необходимы для имени пути / файлов, которые содержат пробелы. Можно также указать пути к каталогам, если вы хотите объединить / сортировать множество файлов в папках.

https://yadi.sk/d/LHSo-TQLLPQxqw