обзор программ удаляющиx дубликаты строк

[Vanterlog]

Решил сделать обзор программ удаляющиx дубликаты строк. Также желающие могут продолжить даный список.

bvsDupDelet
v. 0.2.4.24
автор: TorBel

http://vizbe.net.ru/img/bvsDupDelet.PNG

Описание:
Программа создаёт файл на основе исходного путём сортировки строк исходного файла и удаления дубликатов строк с учётом регистра, лидирующих и замыкающих пробелов и/или символов табуляции.
При нажатии кнопки Stay on top - программа всегда будет отображаться поверх всех окон.

Скачать (http://vizbe.net.ru/bvsDupDelet.zip)

Duplicat Remover by Teso
v. 1.3.0.0
автор: Teso

http://s44.radikal.ru/i103/0905/fa/5bd979250a24.jpg

Описание:

Удаление дублей
Разбивка
Сортировка
Единовременная обработка более чем одного файла
Поддержка Drag and Drop - "перетаскивание"
Поддерживает параметры командной строки (можно указать список файлов которые при запуске будут обработаны или выделить пачку файлов и перетащить на иконку с приложением)
С кириллицей не работает

Скачать (http://multi-up.com/98227)

Fast Duplicates Remover
v0.1
автор: M0nty

http://s54.radikal.ru/i146/0905/3f/411b903aa7a2.jpg

Описание:
Консольная программа.
1-ый способ: перетаскиваем файл в консольное окно и удаляем кавычки из пути к файлу. Жмём Enter.
2-ой способ: закидываем файл в папку с программой и пишем название файла (обязательно вместе с форматом файла) в консольном окне. Жмём Enter.
На выходе получаем файл Out.txt

Скачать (http://multi-up.com/98231)

naRedup
автор: .avolver

http://s53.radikal.ru/i142/0905/f3/67aaa8ae2874.jpg

Описание:
Плюсы:

быстрая работа
удобное GUI
сортировка выходного файла по алфавиту
добавление файлов Drag&Drop'ом - "перетаскивание"

Минусы:

сортировку не отключить
добавленный файл не убрать из списка на обработку
вылет при попытке выйти из программы, во время работы
программа не работает с бинарными файлами

Virustotal: click (http://www.virustotal.com/ru/analisis/a665bfbb9a5e6d65b32007a1d7112aa5)
Скачать (http://multi-up.com/98234)

DupKill
v. 0.2.4.24
автор: SPYDER

http://i036.radikal.ru/0905/26/8ce9fd9be8ec.jpg

Описание:
Удаляет повторы строк в текстовом файле, в то же время сортирует список по алфавиту. Также есть функция удалить повторы и оригиналом.

Скачать (http://multi-up.com/98239)

DicTool
v. 1.1
автор: astako

http://grabberz.com/downloads/dictool_6u3.png

Описание:
Основные функции программы - это работа со словарями, но она также удаляет дубликаты.


Обрезать слова до указанной длины
Слово в нижний регистр (abcd)
Слово в верхний регистр (ABCD)
Первая буква слова в верхний регистр (A***)
Первая буква слова в нижний регистр (a***)
Чередовать регистры (AbCd, aBcD)
Удаление дубликатов без сортировки.


Скачать (http://multi-up.com/95071)

Для удаление дубликатов прокси можно также использовать FP4m (http://www.proxy-base.org/proxy-soft/66-find-proxies-me-udobnyi-parser-proksi.html) от NemeZz

http://s59.radikal.ru/i166/0809/cd/000f9524a38e.jpg

ПРОДОЛЖЕНИЕ В 10 ПОСТЕ.

ТАКЖЕ ПРОЗЬБА МОДЕРАТОРАМ ОБЪЕДИНИТЬ 1 И 10 ПОСТ

[Alexandr II]

вроде норма)) лови +

[KATYA]

Спасибо! Как раз это я и искала!

[B1ack$un]

Для коллекции :)
DoubleDel
http://i036.radikal.ru/0907/73/c31ef1f7f87d.jpg
Скачать (http://rapidshare.com/files/254905198/DoubleDel.rar.html)

[Scripter]

http://slil.ru/27830130

GeneratoR Pro
http://s40.radikal.ru/i089/0906/fc/546fbc034dca.jpg

Возможности:
Генерирование по диапазону с одним или несколькими паролями.
Генерирование из файла с одним или несколькими паролями.

Имеются такие функции:
- Cортировка
- Clonekiller (удаление повторов)
- Spacekiller (удаление пробелов)
http://i017.radikal.ru/0906/a6/5e6392677c88.jpg
http://s59.radikal.ru/i165/0906/42/7a1a71a3d213.jpg
- Удаление Y из X;Y при любом разделителе
- Обмен местами X;Y на Y;X
- Быстрая замена

! Работа как в окне программы, так и с .txt файлом

[hide_]

Решил сделать обзор программ удаляющиx дубликаты строк.
красава (http://www.proxy-base.org/f50/programmy_udalyayuschie_dublikaty_strok-646.html)

[Scripter]

Решил сделать обзор программ удаляющиx дубликаты строк.

Решил скопировать обзор программ удаляющих дубликаты строк

[B1ack$un]

Решил скопировать обзор программ удаляющих дубликаты строк
мда...дело пахнет плагиатом

[.Varius]

"Чужие статьи"

[Vanterlog]

Text Duplicate Killer

http://www.rusdocs.com/wp-content/uploads/2008/05/text-duplicate-killer.gif

Описание:
Text Duplicate Killer - программа, предназначенная для удаления из текста повторяющихся строк (не обязательно смежных). В результате создается новый текстовый файл, в котором каждая строка встречается только один раз.

Как найти дубликаты


У Вас должен быть готов файл формата ASCII, содержащий текст, в котором Вы хотите удалить дублирующиеся строки. Если Вам нужно обработать текст из файлов DOC или RTF, то экспортируйте его в ASCII.
После запуска утилиты tdk.exe выберите пункт меню Файл|Открыть исходный файл и укажите файл, в котором необходимо удалить дубликаты.
Затем с помощью пункта меню Файл|Задать целевой файл укажите имя нового файла. В этот файл утилита поместит обработанный текст, который уже не будет содержать дубликатов. Вы можете автоматически создать новое имя. Для этого нажмите кнопку с “волшебной палочкой”.
Для запуска процесса поиска и удаления дубликатов выберите пункт меню Операции|Убрать дубликаты!. В любой момент Вы можете прервать работу, нажав на кнопку Стоп, находящуюся в правом нижнем углу. При большом объеме текста обработка может занять некоторое время.


Скачать ( http://www.softforfree.com/files/soft/tdk.zip)

[Fata1ex]

Где копирайты? Не стыдно писать "решил сделать обзор" когда обзор не твой? Да и зачем этот обзор, когда программы в основном отличаются друг от друга лишь дизайном. Обзоры пишутся, чтобы указать различия, преимущества, недостатки программ, сходных по выполняемым функциям...

[Freesty1er]

Целый день ищу, не могу найти :(

Нужна программа, для удаления дубликатов, но что бы пустые строки оставались (на месте дубликатов). Никто не подскажет такую?

Заранее благодарен.

[POS_troi]

notepad++

[!TNK!]

Вот норм Программка пользуюсь сам

http://kfvbyfn.ucoz.ru/avto.jpg

Автоформат – программа для автоматического форматирования текста и подсчёта статистики
Меню Сервис:
Обрезать пробелы – обрезать пробелы и табуляцию в началах и концах строк
Удалить двойные пробелы – удалить двойные, тройные и т.д. пробелы по всему тексту
Удалить пустые строки – пустые строки удаляются по всему тексту
Удалить дубли – удаляются полные дубликаты строк. Проверьте, если в началах и концах строк лишние пробелы
Удалить уникальные – удаляются только уникальные строки, дубли остаются. Каждого дубликата остаётся на один меньше. Чтобы оставить их по одному, выберите Удалить дубли
Сортировать – текст сортируется по возрастанию
Сортировать зеркальные – сортируется по возрастанию текст зеркальных строк
Перемешать – текст перемешивается - каждая строка меняется со случайной местами

---------------------
Сайт Автора (http://www.motorocker.ru/soft-avtoformat.htm)
скачать L1 (http://kfvbyfn.ucoz.ru/load/0-0-0-52-20)
L 2 (http://www.motorocker.ru/download/autoformat.zip)

[Freesty1er]

!TNK!, спасибо! То что доктор прописал ;)

[Арес]

Продолжайте в том же духе

Я поддерживаю автора

[olegparhim]

Спасибо за прогу Duplicat Remover by Teso

очень нужная прога , при удалении дублей не перемешивает строки

[Unknown]

Подскажите, какая из этих прог работает без зависания с большими словарями в 3-4 гига? Спасибо.

[Alexandr II]

Подскажите, какая из этих прог работает без зависания с большими словарями в 3-4 гига? Спасибо.


скачай - проюзай - отпиши

[Kontik]

Подскажите, какая из этих прог работает без зависания с большими словарями в 3-4 гига? Спасибо.


Text Duplicate Killer

Dup Kill

Dik Tool

[harox]

http://www.proxy-base.org/f50/programmy_udalyayuschie_dublikaty_strok-646.html

вот откуда он сплагиатил ; )

[vlad36]

http://s017.radikal.ru/i427/1202/a0/9f37310c52fb.png http://i018.radikal.ru/1202/62/bf13ba3c2edb.png​

Недавно начал учить язык программирования Delphi и вот практиковался, и написал вот такую вот программку))

DupDel v0.1

Программа для поиска и удаления дубликатов(повторений) в списке.

Скачать (http://upwap.ru/2039378)

[Vl_Acorn]

http://s017.radikal.ru/i427/1202/a0/9f37310c52fb.png http://i018.radikal.ru/1202/62/bf13ba3c2edb.png​
Недавно начал учить язык программирования Delphi и вот практиковался, и написал вот такую вот программку))
DupDel v0.1
Программа для поиска и удаления дубликатов(повторений) в списке.
Скачать (http://upwap.ru/2039378)


Будем тестировать,но не плохо для новичка

[Dekey]

Подскажите прогу для удаления дубликатов вместе с оригиналом.

DupKill не справляется

[alkos]

Подскажите прогу для удаления дубликатов вместе с оригиналом.
DupKill не справляется


bvsDupDelet

[Gua]

Подскажите, какая из этих прог работает без зависания с большими словарями в 3-4 гига? Спасибо.


Мне реально помогла очистить от дублей, файл больше 2гб, только Fast Duplicates Remover.

Остальные проги либо вообще не открывают файл, либо вылетают

[EMosko]

подскажите прогу которая будет вычитать одну базу из другой.

есть проспамленная база, есть новая. надо из новой отнять проспамленную.

тобеш из:

1

2

3

отнять :

2

3

4

получится в итоге должно:

1

есть такая прога. 100к отнимает от 100к буквально за пол дня. надо быстрее минут за 20 хотя бы

[EMosko]

С помощью питона можно реализовать:
http://younglinux.info/algorithm/intersect



я не программист. можно линк на готовые решения? спасибо

[Progon4ik]

РАбочий СОФТ!! +

[Партнёр]

Выложите ту прогу, которая из одного списка удаляет второй, пожалуйста

[alkos]

Выложите ту прогу, которая из одного списка удаляет второй, пожалуйста


bvsDupDelet

Копируешь в первый список второй два раза. В настойках удаления дублей выбираешь "Unique". Готово.

[kroŧ]

TextDup by CyberKrot

Программа для удаления дубликатов в файлах.

Особенности программ:

1) Не создаёт лишних файлов.

2) Не сортирует.

3) Позволяет выбрать существующий файл для сохранения, удаляет дубликаты с проверкой всех строк в этом файле.

4) Отсутствует графический интерфейс позволяющий наблюдать за процессом удаления дубликатов, в конце своей работы выводит сообщение с результатом и предложением открыть новый файл.

Скачать (http://upwap.ru/3057793)

[Freesty1er]

Sublime Text

Sublime Text

http://i.imgur.com/bM4XvJp.png ​
Edit -> Permute Lines -> Unique
Работает достаточно быстро с большими файлами (проверял текстовик на 1.5 млн строк).

Скачать:

http://ge.tt/5IpzJlg/v/0 (Sublime Text 3 build 3021)

[sud0]

софт для работы с текстом!

функционал в скрине​

http://s004.radikal.ru/i205/1305/f5/ed5411a872d1.png

скатать (http://www.sendspace.com/file/kpseih) ​

[slonce]

Добрый день. Подскажите пожалуйста программу, которая могла бы с текстового файла убрать слова менее 8 символов. 8 и больше оставлять остальные удалить. Текстовые файлы очень большие. Спасибо

Каждое слово идет в новой строчке

[Venya]

Парни! Столкнулся с такой проблемой. Есть файл с текстом (TXT) Размером 50gb. Есть ли такой софт который сможет проверить на дубликаты. Каждое слово написано одну строку. Заранее ОГРОМНОЕ СПАСИБО

[Freesty1er]

Замена дублирующих строк на пробелы

Подскажите, пожалуйста, не знаете ли вы такую программу, которая не удаляла бы дубликаты строк, а заменяла их, скажем на 0 или пробел или просто оставляла строку пустую. Никак не могу решить одну проблему

[Unknown]

Ах, сколько бы восхитительного и первоклассного софта мир не увидел бы, знай люди про grep, sed и регулярки. В частности, практически любой вопрос\софт, упомянутый в топике реализуется одной строкой.

[Хит]

Добрый день. Подскажите пожалуйста программу, которая могла бы с текстового файла убрать слова менее 8 символов. 8 и больше оставлять остальные удалить. Текстовые файлы очень большие. Спасибо
Каждое слово идет в новой строчке


такое можно сделать в экселе, смотря на сколько большие файлы

[Хит]

Парни! Столкнулся с такой проблемой. Есть файл с текстом (TXT) Размером 50gb. Есть ли такой софт который сможет проверить на дубликаты. Каждое слово написано одну строку. Заранее ОГРОМНОЕ СПАСИБО


Есть большая вероятность, что программы будут глючить с таким размером, лучше разделить


Подскажите, пожалуйста, не знаете ли вы такую программу, которая не удаляла бы дубликаты строк, а заменяла их, скажем на 0 или пробел или просто оставляла строку пустую. Никак не могу решить одну проблему


возможно ЭТО (http://tobetop.ru/node/263) вам поможет, если нет, можно написать скрипт замены

[Unknown]

Парни! Столкнулся с такой проблемой. Есть файл с текстом (TXT) Размером 50gb. Есть ли такой софт который сможет проверить на дубликаты. Каждое слово написано одну строку. Заранее ОГРОМНОЕ СПАСИБО


В принципе, строк десять кода. Если дубликатов - значительное большинство - и того меньше. А можно не париться и тупо воткнуть своп на 50гб, лол.

[Freesty1er]

Шаман

Хит, решил следующим бабайским способом:

Всего было 30к строк. Сгенерировал 30к уникальных слов ЫЯЫ{num}ЩЫЫЩ и поместил в первый столбец. Потом во второй вогнал мои строки. Скопировал все в Sublime Text и разделитель ячеек [TAB] заменил переходом на новую строку. Итого вышло:


ЫЯЫ0001ЩЫЫЩ
Виктор Цой
ЫЯЫ0002ЩЫЫЩ
Алла Пугачева


Потом удалил дубликаты строк, и назад заменил переходы на новую строку на ТАБы. Снова в таблицу, берем только второй столбец - ГОТОВО!

[vladb95z-sof]

это ведь не все программы? есть еще чтото подобное?

[Unknown]

это ведь не все программы? есть еще чтото подобное?


>> Ах, сколько бы восхитительного и первоклассного софта мир не увидел бы, знай люди про grep, sed и регулярки. В частности, практически любой вопрос\софт, упомянутый в топике реализуется одной строкой.

I love seflquoting!

[ШматоК]

Неплохая подборка!

[kelvin]

Спасибо очень нужны были такие проги.

[infobisgod]

вот без программ, онлайн штуко (http://webmasta.org/tools/norepeatlines/)

правда для 50 гигов не подойдет

[WPx]

Посоветуйте Актуальный софт для задач:

1. 258 словарей имею - без объединения убрать Дубликаты, пробелы а так же символы которые не бугут быть в реалпассе.

2. желательно с Настройками пример привести.

[xoorb1]

↑ (https://antichat.live/posts/3438039/)
Выложите ту прогу, которая из одного списка удаляет второй, пожалуйста


Хоть сообщение и старое, отвечу) т.к. сам искал. Нашел вот это http://solutionfix.org/soft/doublers/

[dmz117]

а разве notepad++ такого не делает?

[GSLLL]

Может кто подскажет, как вычесть один текстовый документ из другого, т.е. чтобы в двух текстовиках не было одинаковых строк (чтоб из двух одинаковых слов, в одном документе слово удалялось , а в другом оставалось) ?

[Bamond]

ePochta List Manager

[grimnir]

↑ (https://antichat.live/posts/4225724/)
Может кто подскажет, как вычесть один текстовый документ из другого, т.е. чтобы в двух текстовиках не было одинаковых строк (чтоб из двух одинаковых слов, в одном документе слово удалялось , а в другом оставалось) ?


textpipe ,есть в разделе софт

[sachkat]

^(.*)(\r?\n\1)+$ and replacing with \1

[F1shka]

Коллеги ищу софтину Mcheker и другие (Код ответа сервера) c сайта solutionfix[.]org ибо сам домен открыт для реги, совт с харда слетел, у кого есть - выложите пожалуйста на ЯндексДиск, спасибо!