Как быстро удалить Дубликаты строк с оригиналом

УСТРАНЕНИЕ КОНКУРЕНТОВ. БЛОКИРОВКА ДОМЕНОВ, БЛОКИРОВКА ИНСТАГРАМ/ТЕЛЕГРАМ И ДРУГОЕ. ПРОВЕРЕННЫЙ СЕЛЛЕР.

НОВЫЕ ТОРГОВАЯ НОВОСТИ ЧАТ

Скрыть

		Форум АНТИЧАТ > БЕЗОПАСНОСТЬ И УЯЗВИМОСТИ > Песочница
Как быстро удалить Дубликаты строк с оригиналом

Страница 1 из 2

Опции темы

Поиск в этой теме

Опции просмотра

23.11.2015, 12:53

Found

Познающий

Регистрация: 23.11.2015

Сообщений: 77

Провел на форуме:
17462

Репутация: 23

Всем привет..,

Собственно вопрос, через программы или может быть есть Онлайн сервис -что конечно же удобней было бы для меня

Пример есть хеши:

05703552841fe4f579d1c75bd4b8d8a1

2363f2308fe82cbaf3240141003462e1

ef0de5525ec9d0a8679525f1753fea00

05703552841fe4f579d1c75bd4b8d8a1

Представим список большой как удалить из этих строк "05703552841fe4f579d1c75bd4b8d8a1" вместе с оригиналом что бы получить на выходе:

2363f2308fe82cbaf3240141003462e1

ef0de5525ec9d0a8679525f1753fea00

23.11.2015, 13:42

ZodiaX

Новичок

Регистрация: 07.05.2009

Сообщений: 14

Провел на форуме:
44902

Репутация: 0

Цитата:

Сообщение от Found

↑
Всем привет..,
Собственно вопрос, через программы или может быть есть Онлайн сервис -что конечно же удобней было бы для меня
Пример есть хеши:
05703552841fe4f579d1c75bd4b8d8a1
2363f2308fe82cbaf3240141003462e1
ef0de5525ec9d0a8679525f1753fea00
05703552841fe4f579d1c75bd4b8d8a1
Представим список большой как удалить из этих строк "05703552841fe4f579d1c75bd4b8d8a1" вместе с оригиналом что бы получить на выходе:
2363f2308fe82cbaf3240141003462e1
ef0de5525ec9d0a8679525f1753fea00

Любой текстовый редактор -> заменить 'hash' на ' '

Если удалять списком то можно как то так:

Код:

#!/usr/bin/env python
al = []
fi = []
with open('откуда удаляем.txt') as f:
    al = f.read().splitlines()
with open('что удаляем.txt') as f:
    fi = f.read().splitlines()
ss = set(al) -  set(fi)
print ss

23.11.2015, 13:47

Found

Познающий

Регистрация: 23.11.2015

Сообщений: 77

Провел на форуме:
17462

Репутация: 23

Без Скрипта, и не вручную, еще варианты есть? -онлайн сервис например

По скрипту я и сам могу удалить но это геморно каждый раз

23.11.2015, 16:12

grimnir

Познавший АНТИЧАТ

Регистрация: 23.04.2012

Сообщений: 1,109

Провел на форуме:
216062

Репутация: 231

TextPipe так без проблем сделает /threads/403345/

06.01.2016, 22:09

xusanokaz

Познающий

Регистрация: 06.01.2016

Сообщений: 49

Провел на форуме:
12783

Репутация: 0

FlodDublicarot в помощь

07.02.2016, 03:29

Found

Познающий

Регистрация: 23.11.2015

Сообщений: 77

Провел на форуме:
17462

Репутация: 23

Цитата:

Сообщение от grimnir

↑
TextPipe так без проблем сделает
/threads/403345/

3.5 Gb файл -нажал удалить дубликаты на файл, вышла консоль и все черный экран малевича

Цитата:

Сообщение от xusanokaz

↑
FlodDublicarot в помощь

Ссылко по названию в гугле ничего не находит

08.02.2016, 12:48

grimnir

Познавший АНТИЧАТ

Регистрация: 23.04.2012

Сообщений: 1,109

Провел на форуме:
216062

Репутация: 231

08.02.2016, 17:35

pw0ned

Участник форума

Регистрация: 08.01.2016

Сообщений: 118

Провел на форуме:
33728

Репутация: 14

TextUtils by Lays

Присутствует удаление дубликатов.

08.02.2016, 18:06

grimnir

Познавший АНТИЧАТ

Регистрация: 23.04.2012

Сообщений: 1,109

Провел на форуме:
216062

Репутация: 231

Цитата:

Сообщение от pw0ned

↑
TextUtils by Lays
Присутствует удаление дубликатов.

я так понял ему не удаление надо дубликатов,а удаление из списка другово списка с удалением дубликатов. А то так ULM вне конкуренции http://unifiedlm.com/Home

#10

08.02.2016, 20:39

lifescore

Постоянный

Регистрация: 27.08.2011

Сообщений: 640

Провел на форуме:
213865

Репутация: 72

Цитата:

Сообщение от grimnir

↑
я так понял ему не удаление надо дубликатов,а удаление из списка другово списка с удалением дубликатов. А то так ULM вне конкуренции
http://unifiedlm.com/Home

согласен, CLI версия

пример сравнения 2ух баз по 300 метров каждая. Сравнение и удаление строк которые присутствуют в сравниваемой базе.

2 базы по 300метров (600мб в сумме) - за 12 сек управилось.

Спокойно берет и 28 гб файлики. Наверно, из софта выше, только textpipe сможет также, но примерно за месяц...

Страница 1 из 2

« Предыдущая тема | Следующая тема »

Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)

Быстрый переход