Сообщение от
J()KER
Здраствуйте, подскажите пожалуйста: есть у меня несколько словарей и я хочу удалить из них дубликаты, но чтобы их не смешивать, а просто указать чтобы просматривались пароли в 1.txt и при совпадении с паролями в 2.txt они удалялись только из 2. Надеюсь понятно объяснил. Чем можно это сделать?
Если словари небольшие, скажем по 10 млн. строк, то совет форумчанина SEGA_1986 можно конкретизировать например так:
0. Посмотреть и запомнить, сколько строк в 1.txt (пусть 10 млн. ровно)
1. в консоли выполнить copy 1.txt+2.txt 12.txt
2. Открыть 12.txt в программе EmEditor и там Правка-Дополнительно-Удалить повторяющиеся строки. При этом не будет сортировки и удаляться будут строки, которые уже были выше.
3. Строки ниже 10 млн. будут строками файла 2.txt, оставшимися после очистки. Вырезать их и создать новый файл 2new.txt.
Если файл 12.txt будет сильно больше 20 млн. строк, то EmEditor может не справиться и зависнуть. Где его границы возможностей я точно не знаю - надо пробовать.
Это один из вариантов. Может быть кто-нибудь подскажет еще что-то. Например еще удаляет дубли PasswordsPro, но я не очень понял манеру его работы и с какими по размеру файлами он может справиться.