обзор программ удаляющиx дубликаты строк
 

Решил сделать обзор программ удаляющиx дубликаты строк. Также желающие могут продолжить даный список.


Описание:
Программа создаёт файл на основе исходного путём сортировки строк исходного файла и удаления дубликатов строк с учётом регистра, лидирующих и замыкающих пробелов и/или символов табуляции.
При нажатии кнопки Stay on top - программа всегда будет отображаться поверх всех окон.

Скачать


Описание:

• Удаление дублей
• Разбивка
• Сортировка
• Единовременная обработка более чем одного файла
• Поддержка Drag and Drop - "перетаскивание"
• Поддерживает параметры командной строки (можно указать список файлов которые при запуске будут обработаны или выделить пачку файлов и перетащить на иконку с приложением)
• С кириллицей не работает

Скачать


Описание:
Консольная программа.
1-ый способ: перетаскиваем файл в консольное окно и удаляем кавычки из пути к файлу. Жмём Enter.
2-ой способ: закидываем файл в папку с программой и пишем название файла (обязательно вместе с форматом файла) в консольном окне. Жмём Enter.
На выходе получаем файл Out.txt

Скачать


Описание:
Плюсы:

• быстрая работа
• удобное GUI
• сортировка выходного файла по алфавиту
• добавление файлов Drag&Drop'ом - "перетаскивание"

Минусы:

• сортировку не отключить
• добавленный файл не убрать из списка на обработку
• вылет при попытке выйти из программы, во время работы
• программа не работает с бинарными файлами

Virustotal: click
Скачать


Описание:
Удаляет повторы строк в текстовом файле, в то же время сортирует список по алфавиту. Также есть функция удалить повторы и оригиналом.

Скачать


Описание:
Основные функции программы - это работа со словарями, но она также удаляет дубликаты.

• Обрезать слова до указанной длины
• Слово в нижний регистр (abcd)
• Слово в верхний регистр (ABCD)
• Первая буква слова в верхний регистр (A***)
• Первая буква слова в нижний регистр (a***)
• Чередовать регистры (AbCd, aBcD)
• Удаление дубликатов без сортировки.

Скачать

Для удаление дубликатов прокси можно также использовать FP4m от NemeZz


ПРОДОЛЖЕНИЕ В 10 ПОСТЕ.

ТАКЖЕ ПРОЗЬБА МОДЕРАТОРАМ ОБЪЕДИНИТЬ 1 И 10 ПОСТ

вроде норма)) лови +

Спасибо! Как раз это я и искала!

Для коллекции :)
DoubleDel
http://i036.radikal.ru/0907/73/c31ef1f7f87d.jpg
Скачать

http://slil.ru/27830130

GeneratoR Pro
http://s40.radikal.ru/i089/0906/fc/546fbc034dca.jpg

Возможности:
Генерирование по диапазону с одним или несколькими паролями.
Генерирование из файла с одним или несколькими паролями.

Имеются такие функции:
- Cортировка
- Clonekiller (удаление повторов)
- Spacekiller (удаление пробелов)
http://i017.radikal.ru/0906/a6/5e6392677c88.jpg
http://s59.radikal.ru/i165/0906/42/7a1a71a3d213.jpg
- Удаление Y из X;Y при любом разделителе
- Обмен местами X;Y на Y;X
- Быстрая замена

! Работа как в окне программы, так и с .txt файлом

Решил скопировать обзор программ удаляющих дубликаты строк

мда...дело пахнет плагиатом

"Чужие статьи"

Описание:
Text Duplicate Killer - программа, предназначенная для удаления из текста повторяющихся строк (не обязательно смежных). В результате создается новый текстовый файл, в котором каждая строка встречается только один раз.

Как найти дубликаты

• У Вас должен быть готов файл формата ASCII, содержащий текст, в котором Вы хотите удалить дублирующиеся строки. Если Вам нужно обработать текст из файлов DOC или RTF, то экспортируйте его в ASCII.
• После запуска утилиты tdk.exe выберите пункт меню Файл|Открыть исходный файл и укажите файл, в котором необходимо удалить дубликаты.
• Затем с помощью пункта меню Файл|Задать целевой файл укажите имя нового файла. В этот файл утилита поместит обработанный текст, который уже не будет содержать дубликатов. Вы можете автоматически создать новое имя. Для этого нажмите кнопку с “волшебной палочкой”.
• Для запуска процесса поиска и удаления дубликатов выберите пункт меню Операции|Убрать дубликаты!. В любой момент Вы можете прервать работу, нажав на кнопку Стоп, находящуюся в правом нижнем углу. При большом объеме текста обработка может занять некоторое время.

Скачать