Составление словарей для брутфорса составление и их дальнейшая очистка от повторений.

[Teberium]

Имея 3 словаря, допустим, по 10 Гб в txt формате, хочу объединить их в один словарьout.txt(30Гб) и в далее хочу убрать повторяющиеся строки(пароли) из этого файла, как это реализовать у себя на пк?

Может есть команды для объединенияи очистки дублей(+ сортировки) или специализированный софт?

Имею две OC Kali и W10.

[Andrey9999]

объединить: cat 1.txt 2.txt 3.txt > out.txt

сортировать и удалить повторы: sort -u out.dic > sorted.dic

[Teberium]

↑ (https://antichat.live/posts/4207211/)
объединить:
cat 1.txt 2.txt 3.txt > out.txt
сортировать и удалить повторы:
sort -u out.dic > sorted.dic


А изменить количество строк в файле out.txt можно с помощью команды uniq -s 3-8?

Получается конечный команды:

1.cat 1.txt 2.txt 3.txt > out.txt

2.sort -u out.txt > sorted.txt

3.uniq -s 3-7 sorted.txt sorted3-7.txt

И получим словарь без повторов с кол-во символов от 3 до 7, верно?

[Andrey9999]

↑ (https://antichat.live/posts/4207306/)
А изменить количество строк в файле out.txt можно


не совсем понятно что требуется - посмотри здесь (https://antichat.live/threads/281655/page-77/)

[Andrey9999]

если нужно оставить слова только с от 3 до 7 символами, то: sed -r '/^.{3,7}$/!d' sorted.txt > ot3do7.txt

[Teberium]

Доброе время суток Antichat, вопрос такой - у меня есть 10 словарей для брута, нужно убрать из них дубликаты(почистить) не объединяя их в один, как такое провернуть?

Интересно есть софт на подобии duplicut-master?

Помогите пожалуйста