УСТРАНЕНИЕ КОНКУРЕНТОВ. БЛОКИРОВКА ДОМЕНОВ, БЛОКИРОВКА ИНСТАГРАМ/ТЕЛЕГРАМ И ДРУГОЕ. ПРОВЕРЕННЫЙ СЕЛЛЕР.

ANTICHAT — форум по информационной безопасности, OSINT и технологиям

ANTICHAT — русскоязычное сообщество по безопасности, OSINT и программированию. Форум ранее работал на доменах antichat.ru, antichat.com и antichat.club, и теперь снова доступен на новом адресе — forum.antichat.xyz.
Форум восстановлен и продолжает развитие: доступны архивные темы, добавляются новые обсуждения и материалы.
⚠️ Старые аккаунты восстановить невозможно — необходимо зарегистрироваться заново.

		Форум АНТИЧАТ > БЕЗОПАСНОСТЬ И УЯЗВИМОСТИ > Уязвимости > ICQ
обзор программ удаляющиx дубликаты строк

Страница 5 из 6

Опции темы

Поиск в этой теме

Опции просмотра

#41

07.01.2014, 10:43

Unknown

Guest

Сообщений: n/a

Провел на форуме:
114076

Репутация: 54

Цитата:

Сообщение от None

Парни! Столкнулся с такой проблемой. Есть файл с текстом (TXT) Размером 50gb. Есть ли такой софт который сможет проверить на дубликаты. Каждое слово написано одну строку. Заранее ОГРОМНОЕ СПАСИБО

В принципе, строк десять кода. Если дубликатов - значительное большинство - и того меньше. А можно не париться и тупо воткнуть своп на 50гб, лол.

#42

07.01.2014, 10:52

Freesty1er

Новичок

Регистрация: 18.03.2010

Сообщений: 2

Провел на форуме:
3203

Репутация: 0

Шаман

Хит, решил следующим бабайским способом:

Всего было 30к строк. Сгенерировал 30к уникальных слов ЫЯЫ{num}ЩЫЫЩ и поместил в первый столбец. Потом во второй вогнал мои строки. Скопировал все в Sublime Text и разделитель ячеек [TAB] заменил переходом на новую строку. Итого вышло:

Цитата:

Сообщение от None

ЫЯЫ0001ЩЫЫЩ
Виктор Цой
ЫЯЫ0002ЩЫЫЩ
Алла Пугачева

Потом удалил дубликаты строк, и назад заменил переходы на новую строку на ТАБы. Снова в таблицу, берем только второй столбец - ГОТОВО!

#43

13.01.2014, 03:35

vladb95z-sof

Guest

Сообщений: n/a

Провел на форуме:
0

Репутация: 0

это ведь не все программы? есть еще чтото подобное?

#44

13.01.2014, 08:10

Unknown

Guest

Сообщений: n/a

Провел на форуме:
114076

Репутация: 54

Цитата:

Сообщение от vladb95z-sof

vladb95z-sof said:
это ведь не все программы? есть еще чтото подобное?

>> Ах, сколько бы восхитительного и первоклассного софта мир не увидел бы, знай люди про grep, sed и регулярки. В частности, практически любой вопрос\софт, упомянутый в топике реализуется одной строкой.

I love seflquoting!

#45

13.01.2014, 12:47

ШматоК

Guest

Сообщений: n/a

Провел на форуме:
3088

Репутация: 0

Неплохая подборка!

#46

27.01.2014, 02:10

kelvin

Guest

Сообщений: n/a

Провел на форуме:
0

Репутация: 0

Спасибо очень нужны были такие проги.

#47

10.09.2014, 12:05

infobisgod

Guest

Сообщений: n/a

Провел на форуме:
416

Репутация: 0

вот без программ, онлайн штуко

правда для 50 гигов не подойдет

#48

03.03.2015, 18:17

WPx

Guest

Сообщений: n/a

Провел на форуме:
10218

Репутация: 16

Посоветуйте Актуальный софт для задач:

1. 258 словарей имею - без объединения убрать Дубликаты, пробелы а так же символы которые не бугут быть в реалпассе.

2. желательно с Настройками пример привести.

#49

31.03.2016, 11:15

xoorb1

Guest

Сообщений: n/a

Провел на форуме:
0

Репутация: 1

Цитата:

Сообщение от Партнёр

Партнёр said:
↑
Выложите ту прогу, которая из одного списка удаляет второй, пожалуйста

Хоть сообщение и старое, отвечу) т.к. сам искал. Нашел вот это http://solutionfix.org/soft/doublers/

#50

29.04.2016, 16:28

dmz117

Guest

Сообщений: n/a

Провел на форуме:
696

Репутация: 0

а разве notepad++ такого не делает?

Страница 5 из 6

« Предыдущая тема | Следующая тема »

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Мини обзор программ безвозвратного удаления данных	[GorDan]	Анонимность	0	02.05.2009 14:07
База Руссификаторы от KPOT_f!nd	KPOT_f!nd	Реверсинг	1	21.09.2006 21:06
«Лаборатории Касперского»: Количество вредоносных программ под Linux резко возросло	dinar_007	Мировые новости. Обсуждения.	9	20.08.2006 20:50

Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)

Быстрый переход