ANTICHAT — форум по информационной безопасности, OSINT и технологиям
ANTICHAT — русскоязычное сообщество по безопасности, OSINT и программированию.
Форум ранее работал на доменах antichat.ru, antichat.com и antichat.club,
и теперь снова доступен на новом адресе —
forum.antichat.xyz.
Форум восстановлен и продолжает развитие: доступны архивные темы, добавляются новые обсуждения и материалы.
⚠️ Старые аккаунты восстановить невозможно — необходимо зарегистрироваться заново.
 |
|
23.11.2015, 12:53
|
|
Познающий
Регистрация: 23.11.2015
Сообщений: 77
Провел на форуме:
17462
Репутация:
23
|
|
Всем привет..,
Собственно вопрос, через программы или может быть есть Онлайн сервис -что конечно же удобней было бы для меня
Пример есть хеши:
05703552841fe4f579d1c75bd4b8d8a1
2363f2308fe82cbaf3240141003462e1
ef0de5525ec9d0a8679525f1753fea00
05703552841fe4f579d1c75bd4b8d8a1
Представим список большой как удалить из этих строк "05703552841fe4f579d1c75bd4b8d8a1" вместе с оригиналом что бы получить на выходе:
2363f2308fe82cbaf3240141003462e1
ef0de5525ec9d0a8679525f1753fea00
|
|
|
23.11.2015, 13:42
|
|
Новичок
Регистрация: 07.05.2009
Сообщений: 14
Провел на форуме:
44902
Репутация:
0
|
|
Сообщение от Found
↑
Всем привет..,
Собственно вопрос, через программы или может быть есть Онлайн сервис -что конечно же удобней было бы для меня
Пример есть хеши:
05703552841fe4f579d1c75bd4b8d8a1
2363f2308fe82cbaf3240141003462e1
ef0de5525ec9d0a8679525f1753fea00
05703552841fe4f579d1c75bd4b8d8a1
Представим список большой как удалить из этих строк "05703552841fe4f579d1c75bd4b8d8a1" вместе с оригиналом что бы получить на выходе:
2363f2308fe82cbaf3240141003462e1
ef0de5525ec9d0a8679525f1753fea00
Любой текстовый редактор -> заменить 'hash' на ' '
Если удалять списком то можно как то так:
Код:
#!/usr/bin/env python
al = []
fi = []
with open('откуда удаляем.txt') as f:
al = f.read().splitlines()
with open('что удаляем.txt') as f:
fi = f.read().splitlines()
ss = set(al) - set(fi)
print ss
|
|
|
|
23.11.2015, 13:47
|
|
Познающий
Регистрация: 23.11.2015
Сообщений: 77
Провел на форуме:
17462
Репутация:
23
|
|
Без Скрипта, и не вручную, еще варианты есть? -онлайн сервис например
По скрипту я и сам могу удалить но это геморно каждый раз
|
|
|
|
23.11.2015, 16:12
|
|
Познавший АНТИЧАТ
Регистрация: 23.04.2012
Сообщений: 1,109
Провел на форуме:
216062
Репутация:
231
|
|
|
|
|
|
06.01.2016, 22:09
|
|
Познающий
Регистрация: 06.01.2016
Сообщений: 49
Провел на форуме:
12783
Репутация:
0
|
|
FlodDublicarot в помощь
|
|
|
|
07.02.2016, 03:29
|
|
Познающий
Регистрация: 23.11.2015
Сообщений: 77
Провел на форуме:
17462
Репутация:
23
|
|
3.5 Gb файл -нажал удалить дубликаты на файл, вышла консоль и все черный экран малевича
Сообщение от xusanokaz
↑
FlodDublicarot в помощь
Ссылко по названию в гугле ничего не находит
|
|
|
|
08.02.2016, 12:48
|
|
Познавший АНТИЧАТ
Регистрация: 23.04.2012
Сообщений: 1,109
Провел на форуме:
216062
Репутация:
231
|
|
|
|
|
|
08.02.2016, 17:35
|
|
Участник форума
Регистрация: 08.01.2016
Сообщений: 118
Провел на форуме:
33728
Репутация:
14
|
|
TextUtils by Lays
Присутствует удаление дубликатов.
|
|
|
|
08.02.2016, 18:06
|
|
Познавший АНТИЧАТ
Регистрация: 23.04.2012
Сообщений: 1,109
Провел на форуме:
216062
Репутация:
231
|
|
Сообщение от pw0ned
↑
TextUtils by Lays
Присутствует удаление дубликатов.
я так понял ему не удаление надо дубликатов,а удаление из списка другово списка с удалением дубликатов. А то так ULM вне конкуренции http://unifiedlm.com/Home
|
|
|
|
08.02.2016, 20:39
|
|
Постоянный
Регистрация: 27.08.2011
Сообщений: 640
Провел на форуме:
213865
Репутация:
72
|
|
Сообщение от grimnir
↑
я так понял ему не удаление надо дубликатов,а удаление из списка другово списка с удалением дубликатов. А то так ULM вне конкуренции
http://unifiedlm.com/Home
согласен, CLI версия
пример сравнения 2ух баз по 300 метров каждая. Сравнение и удаление строк которые присутствуют в сравниваемой базе.
2 базы по 300метров (600мб в сумме) - за 12 сек управилось.
Спокойно берет и 28 гб файлики. Наверно, из софта выше, только textpipe сможет также, но примерно за месяц...
|
|
|
|
|
|
|
|
Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
|
|
|
|
Линейный вид
