Чем удалять дублиткаты в тхт

[Demonolog]

Пример того что мне нужно:

1. Есть файл тхт 1

2. Есть файл тхт 2

3. Нужно соединить их вместе и проверить на дубликат

4. На выходе иметь строки которые тхт1 не содержит то есть без дубликатов "уникальные строки"

[Spinus]

/threads/281655/page-151#post-4269747 (https://antichat.live/threads/281655/page-151/)

Там есть и проги для редактирования.

[Demonolog]

Spinus said:
↑ (https://antichat.live/posts/4308215/)
/threads/281655/page-151#post-4269747 (https://antichat.live/threads/281655/page-151/)
Там есть и проги для редактирования.


а конкретно не скажешь какой софт мне может помочь в моей проблеме?

[erwerr2321]

Demonolog said:
↑ (https://antichat.live/posts/4308220/)
а конкретно не скажешь какой софт мне может помочь в моей проблеме?


см. в ПМ

[Demonolog]

Всем спасибо за помощь, помог с ответом на мой вопрос @ms13 (https://antichat.live/members/266395/)

[Simonoff]

ms13 said:
↑ (https://antichat.live/posts/4308221/)
см. в ПМ


Дико извиняюсь, а можно и мне в личку инфу скинуть? Буду признателен.

[erwerr2321]

Simonoff said:
↑ (https://antichat.live/posts/4308248/)
Дико извиняюсь, а можно и мне в личку инфу скинуть? Буду признателен.


Например, тут (https://antichat.live/threads/281655/page-77/), да и вообще в данной теме можно найти почти всё по интересующему Вас вопросу.

Просто используйте форумный сёрч.

[s1LenT]

с помощью excel , openoffice

[b3]

cat file1 file2 | sort -u

так в линуксе

[fire-dance]

Demonolog said:
↑ (https://antichat.live/posts/4308206/)
Пример того что мне нужно:
1. Есть файл тхт 1
2. Есть файл тхт 2
3. Нужно соединить их вместе и проверить на дубликат
4. На выходе иметь строки которые тхт1 не содержит то есть без дубликатов "уникальные строки"


Удаляет дубли любого размера, не портит формат

очень быстро.

Качаем, разархивируем, создаем файл remove_dubles с расширением .bat

В файле пишем:

Код:

App.Merge.exe o="rez_out.txt" t=4 "rez.txt"

pause

rez.txt - файл, в котором мы хотим удалить дубликаты.

rez_out.txt - файл, который мы получим в итоге.

Софт с батником я залил, для тех кто в танке батник открывается любым блокнотом: скачать

Да и не забудьте положить файлы в эту же папку.

Софт может объединять сразу несколько файлов и после удалять дубли, для этого просто вписываем нужные нам файлы:

Код:

App.Merge.exe o="rez_out.txt" t=4 "rez.txt" "rez2.txt" "rez3.txt"

pause

rez.txt - файл, в котором мы хотим удалить дубликаты.

rez2.txt - 2-й файл, в котором мы хотим удалить дубликаты.

rez3.txt - 3-й файл, в котором мы хотим удалить дубликаты.

rez_out.txt - общий файл, который мы получим в итоге.

Также можно прописать различные опции:

o=[out-file] - Выходной файл.

t=[threads] - Потоки, используется для ускорения сортировки вверх только.

c=[mem] - Используется для управления, сколько оперативной памяти для использования в МБ. По умолчанию 1024. блокированного в 3072.

min=[num] - Минимальная длина слова. По умолчанию = 1

max=[num] - Максимальная длина слова. По умолчанию = 4096.

Формат команды:

App.Merge.exe o="output-file.txt" t=4 [options] ... "word-list1.txt" "word-list2.lst" "directory1" ...

Для анализа отчета словесного списка:

App.Merge.exe r = "словарь-list1.txt"

Двойные кавычки необходимы для имени пути / файлов, которые содержат пробелы. Можно также указать пути к каталогам, если вы хотите объединить / сортировать множество файлов в папках.

https://yadi.sk/d/LHSo-TQLLPQxqw