Сообщение от
Chvalov
Подскажите как удалить дубли с словарей.
Есть n-ое колво словарей, как lst, txt так и dic
Ищу софт в который эти все словарики можно загрузить и чтобы он почистит их от дублей
С поддержкой кириллицы.
Файлы как по 100 Мб так и по 10Гб
1)http://forum.antichat.ru/threads/281655/page-39#post-3865400
2) Wireless Password Recovery - много утилит для роботы со словарьем
Инструменты включают в себя следующие операции:
·Преобразование всех слов словаря в нижний регистр. Например, BAD -> bad.
·Преобразование слов в верхний регистр. Например, Bad -> BAD.
·Первая буква - заглавная, остальные строчные. Например, bad -> Bad.
·Удаление дубликатов (повторяющихся) слов
·Удаление неанглийских слов
·Удаление слов, целиком состоящих из цифр и/или специальных символов. Например, 12345, !@#$%, 08-19-10 и т.д.
·Удаление английских слов
·Обрезание/удаление пробелов спереди и сзади слова
·Обрезание/удаление пробелов и цифр
·Обрезание/удаление пробелов, цифр и специальных символов
·Разбиение словаря на части по максимальному размеру
·Разбиение словаря на части по максимальному количеству слов
·Удаление слов, меньше заданной длины
·Удаление слов, больше заданной длины
·Изменение разделителя строк.............