Форум АНТИЧАТ - Цепочки – метод поиска коллизии.

Форум АНТИЧАТ (https://forum.antichat.xyz/index.php)

- Расшифровка хешей (https://forum.antichat.xyz/forumdisplay.php?f=76)

- - Цепочки – метод поиска коллизии. (https://forum.antichat.xyz/showthread.php?t=102144)

Цепочки – метод поиска коллизии.

Дано:

Некая хеш функция Ф()
Диапазон ее хешей от 00 до 99
Диапазон входных данных (паролей) - бесконечно (любая строка, файл)

(Функция взята искуственно для удобства пояснения)

Задача:

Найти пароль от ЛЮБОГО известного хеша этой функции Ф().

Решение (алгоритм)

Сгенерируем цепочку хешей где сами хеши будут паролями т.е.:
(Цепочка 1)

Код:

Ф(00)=01

Ф(01)=02

Ф(02)=03

Ф(03)=04

Ф(04)=05

...

Ф(98)=99

Ф(99)=00

Круг замкнулся. Мы перебрали все возможные хеши. Хеш от 00 даст 01 (начало цепочки).
В цепочке имеем что каждый элемент (хеш) это пароль от следующего за ним хеша.
Т.е. пароль от хеша „03” это строка „02”, от „56” – строка „55”.
Если мы найдем хеш от пароля „пассворд” то получим (например) значение 32
Ф(пассворд)=32
Но в то же время мы знаем что пароль от хеша 32 это строка „31” (смотрим цепочку)
Значит:

Код:

Ф(пассворд)=32

Ф(31)=32

Перед нами случай колизии когда два разных пароля дают один хеш.
Если бы эта функция применялась для хеширования паролей допустим форума и мы получили хеш 32 то авторизоваться можно как паролем „пассворд” так и паролем „31”

(ну думаю это ясно :))

Получается имея полную цепочку хешей для функции Ф() мы можем найти пароль для ЛЮБОГО хеша. Для этого нужно найти наш хеш в цепочке и предыдущий хеш в ней будет паролем.
Для нашей функции диапазон хешей невелик и полная цепочка не займет много места, но если мы возьмем реально существующую функцию например oldmysql() то вся цепочка будет иметь 2^64 хешей (т.е. количество всех возможных хешей функции oldmysql())
Значит нельзя хранить всю цепочку.
Рассмотрим на примере нашей функции Ф() способ поиска пароля от нужного нам хеша при помощи цепочки которая хранит ПРОМЕЖУТОЧНЫЕ значения полной цепочки.

Идея

Итак полная цепочка для нашей фукнции будет занимать 100*2 = 200 знаков (100 – общее количество хешей, 2 – количество символов в хеше).
Генерировать будем так же как и описано выше:
(Цепочка 1)

Код:

Ф(00)=01

Ф(01)=02

Ф(02)=03

Ф(03)=04

Ф(04)=05

...

Ф(98)=99

Ф(99)=00

Но сохраняем каждый десятый хеш, в результате получим такую цепочку
00 – первый хеш.
09 – хеш от 08
19 – хеш от 18
...
99 – хеш от 98

Запишу полностью для удобства понимания дальнейшего :)
(Цепочка 2)

Код:

Итого 11 записей. Что по объему равно 11*2=22 знака (Существенно меньше)
Остается вопрос КАК искать по этой цепочке пароль допустим от хеша 45. (пусть у пользователя форума был пароль „ВАСЯ” хеш от которого 45 :))
Для того что бы найти пароль по нашей полученой цепочке с промежуточным сохранением (внимание сама суть!!!) берем наш хеш 45 и начинаем генерировать хеши от него по цепи и искать полученое значение в нашей неполной цепочке (Цепочка 2) Т.е.
Ф(45)=46 – ненайдено.
Ф(46)=47 – ненайдено.
Ф(47)=48 – ненайдено.
Ф(48)=49 – НАЙДЕНО!!!! В нашей неполной цепочке есть хеш 49.
Идем дальше. Смотрим предыдущий от найденого (49) хеш в нашей цепочке (Цепочка 2) там стоит значение хеш 39. Имеем НАЧАЛО диапазона где будет найден наш искомый хеш (45).
Начинаем снова генерить хеши от начала диапазона (39) и сравнивать его с нашим искомым хешем (45):
Ф(39)=40 - нет
Ф(40)=41 - нет
Ф(41)=42 - нет
Ф(42)=43 - нет
Ф(43)=44 - нет
Ф(44)=45 – НАШЛИ!!!!!!!! Значит паролем к нашему хешу будет строка „44”.
Все колизия найдена
Ф(ВАСЯ)=45
Ф(44)=45
(можем авторизоваться на форуме паролем 45 ;))
Теперь о том что это дает и как это все будет по времени.
Пусть полная цепочка генерится 100 часов. Т.е. один хеш в час. Это долго и неудобно НО сгенерить ее нужно лишь один (!) раз, сохранив при этом только каждый десятый хеш.
Дальше при самом неудачном варианте нам нужно будет генерить максимум 10 хешей, что займет всего 10 часов :) (пока без учета поиска)
Что касается места на полную цепочку (Цепочка 1) уходит 200 знаков, на неполную (Цепочка 2) – 22 знака.

Дальше о реальности :)

Все это дело было придумано основываясь на двух вещах:
1. Скорость генерирования хешей на CUDA сморим тут https://forum.antichat.ru/thread62728.html
В конце видим

Цитата:

«MySql хеши
...
Скорость перебора одного хеша 8 000 000 000 000 п/c. на GF8600GT»

И второе условие необходимое для работы этой темы, нужно что бы
2. Среди всего диапазона хешей если их взять как пароли небыло коллизий
Т.е.
ХЕШ1=OLDPASSWORD(хеш01)
ХЕШ2= OLDPASSWORD(хеш02)
ХЕШ1<>ХЕШ2 для ЛЮБЫХ пар хеш01-хеш02
Или другими словами OLDPASSWORD(хеш1)<>OLDPASSWORD(хеш2)
Нужно это для того что бы полная цепочка замкнулась в кольцо.

Теперь в цифрах. Для генерации полной цепочки (без сохранения) нужно
2^64/8 000 000 000 000 = 2305843 секунд = 640,5 часов = 26 дней. Что вообщем-то очень недолго.
Теперь определимся с шагом сохранения.
Тут важными будут два параметра:
1. Время восстановления одного участка цепочки.
2. Место которое мы готовы выделить на диске для хранения промежуточных результатов
Есть определенные ограничения и тонкости, но это уже можно узнать после ряда тестов.
Для примера если мы сделаем шаг размером 2^44 штук, то количество шагов(цепочек) и стало быть количество сохраненных промежуточных хешей будет 2^64 / 2^44 = 2^20 хешей. Это 1048576 хешей. По объему будет занимать 1048576*16 байт (длинна хеша)= 16777216 байт = 16 МБ. Всего 16 Мб на хранение цепочки промежуточных хешей.
Но при генерации цепочки из нашего искомого хеша мы вынуждены результат сравнивать со всеми 1 048 576 хранимых хешей, что сильно замедлит сокрост. Вот тут как раз нужно подобрать оптимальную длину шага что бы хранимых хешей было как можно меньше но один промежуток (шаг) перебирался за короткое время.
Можно например сделать так, не сравнивать каждый полученый хеш с хранимой цепочкой , а сгенерить весь промежуток длинной в шаг (2^44) и найти общий хеш среди нагенереного массива хешей и цепочкой промежутков. Вообщем придумать можно.

Вот такая вот идейка по поиску коллизий. Почему она вообще пришла мне в голову. Дело в том что у хеша диапазон входных значений бесконечность, но выходных конечное множество. А что если сами хеши использовать как пароли, на выходе тоже будут хеши. Значит если перебрать все хеши как входные данные, то мы получим ВСЕ хеши на выходе. Т.е. мы сузим диапазон входных значений с бесконечности до вполне конечного числа в случае с oldmysql хешами это будет 2^64, что не так уж и много во времена CUDA.
Хотелось бы обсудить идею вообще ну и алгоритмы реализации. Т.е. слушаю ваши мнения на этот весь тред :)

Эмм.. А почему ты думаешь что при A<B, F(A)<F(B) ?? Или я чтото не понял? Да и распределение может быть неравномерным, т.е. при A<C<B может быть и F(C)<F(A)<F(B). Тогда и диапазона никакого не будет.

Цитата:

A<B, F(A)<F(B)

Ты не понял. Мы вычисляем хеш от хеша, на примере реальной функции олдмускул
берем строку 606717496665bcba вычисляем от нее хеш
oldpassword(606717496665bcba)=6a0d3dfd1c4308f4
дальше от результата
oldpassword(6a0d3dfd1c4308f4)=774cb1d32ece3273 и т.д
oldpassword(774cb1d32ece3273)=278117eb39e5d68c
oldpassword(278117eb39e5d68c)=7c52766a01a03c28
oldpassword(7c52766a01a03c28)=34de6b1d0a7eab07
Выход подаем на вход. И делаем так пока не переберем ВСЕ. Сохраняя при этом каждый ну допустим каждый тысячный хеш (это в реале мало, шаг нужне больше... ну я описывал)
____________________
Гм, я кажется понял что смутило. То что я хеши брал 01 02 03 ...
Вообщем это для удобства пояснения... сама нумерация не важна... это просто строки и все. Ну или считайте как индексы хешей... Т.е. Первый хеш, второй хеш, третий хеш... и т.д.

то есть для того чтобы найти значение от мд5 хеша, мы тупо сначала хешируем все значения от 00000000000000000000000000000000 до 99999999999999999999999999999999 и состаляем цепочки.
Причем проанализиовав я думаю мы мы можем некоторые значения не брать (кстати например хеш какого то значения может быть равен допустим 555555.....555? то есть если проанализировать мы часть значение можем не принимать и тогда наша база сузиться.)
я думаю на малых длинах хешей это прокатит.

Цитата:

Причем проанализиовав я думаю мы мы можем некоторые значения не брать (кстати например хеш какого то значения может быть равен допустим 555555.....555? то есть если проанализировать мы часть значение можем не принимать и тогда наша база сузиться.)

Тоже думал про это... но ответа незнаю... нужно анализировать хеш функцию на областьь значений.
Про МД5 говорить пока рано так как 2^128 это все же ОЧЕНЬ много даже для КУДА.
Но это ПОКА рано ;) Да и кстати может кто то внесет что то свое и тогда МД5 тоже будет взят...

Цитата:

все значения от 00000000000000000000000000000000 до 99999999999999999999999999999999 и состаляем цепочки.

Тут не совсем верно сказано. Цепочка одна, просто храним не все значения а только каждый N-ный.
И не от 000000... до 9999999....
а допустим от 000000..... ДО некого хеша - ХЕШ от которого даст 000000... и круг замкнется. Тут кстати опять вылазит вопрос будет ли этот хеш, т.е. в области значений функции МД5 есть хеш 000000...
Может действительно "красивые хеши НЕ могут существовать" и ВСЕХ реальных хешей не от 000000... до 9999999.... (2^128) а ГОРАЗДО меньше?
Думаем.... :)

Почитал на вики про алгоритм мд5

Цитата:

Шаг 3. Инициализация буфера Для вычислений инициализируются 4 переменных размером по 32 бита и задаются начальные значения шестнадцатеричными числами: А = 01 23 45 67; В = 89 AB CD EF; С = FE DC BA 98; D = 76 54 32 10.

то есть если я правильно дальше понял, хеш обьязательно у нас получается составленным из букв и цифр вместе. То есть нету такого входного значения, хеш которого будет составлен или только из цифр или только из букв, что сужает намного нашу область

или я неправильно понял?
--
а вот еще дальше прочитал

Цитата:

оллизии MD5 Коллизия хеш-функции — это получение одинакового значения функции для разных сообщений и идентичного начального буфера. В отличие от коллизий, псевдоколлизии определяются как равные значения хеша для разного значения начального буфера, причем сами сообщения могут совпадать или отличаться. В 1996 году Ганс Доббертин, нашел псевдоколлизии в MD5, используя определенные инициализирующие векторы, отличные от стандартных. Оказалось, что можно для известного сообщения построить второе, такое что оно будет иметь такой же хеш как и исходное. C точки зрения математики это означает MD5(IV,L1) = MD5(IV,L2), где IV начальное значение буфера, а L1 и L2 различные сообщения. Ханс Доббертин нашел такие значения. Например если взять начальное значение буфера: A = 0x12AC2375 В = 0x3B341042 C = 0x5F62B97C D = 0x4BA763ED и задать входное сообщениеAA1DDABE D97ABFF5 BBF0E1C1 32774244 1006363E 7218209D E01C136D 9DA64D0E 98A1FB19 1FAE44B0 236BB992 6B7A779B 1326ED65 D93E0972 D458C868 6B72746A то, добавляя число 29 к определенному 32-разрядному слову в блочном буфере, можно получить второе сообщение с таким же хешем. Ханс Доббертин представил такую формулу: Тогда MD5(IV, L1) = MD5(IV, L2) = BF90E670752AF92B9CE4E3E1B12CF8DE. В 2004 году китайские исследователи Ван Сяоюнь (Wang Xiaoyun), Фен Дэнгуо (Feng Dengguo), Лай Сюэцзя (Lai Xuejia) и Юй Хунбо (Yu Hongbo) объявили об обнаруженной ими уязвимости в алгоритме, позволяющей за небольшое время (1 час на кластере IBM p690) находить коллизии.[5][6] В 2005 году Ван Сяоюнь и Юй Хунбо из университета Шаньдун в Китае опубликовали алгоритм, который может найти две различные последовательности 128 байт, которые дают одинаковый MD5 хеш. Одна из таких пар:d131dd02c5e6eec4693d9a0698aff95c 2fcab58712467eab4004583eb8fb7f89 55ad340609f4b30283e488832571415a 085125e8f7cdc99fd91dbdf280373c5b d8823e3156348f5bae6dacd436c919c6 dd53e2b487da03fd02396306d248cda0 e99f33420f577ee8ce54b67080a80d1e c69821bcb6a8839396f9652b6ff72a70 иd131dd02c5e6eec4693d9a0698aff95c 2fcab50712467eab4004583eb8fb7f89 55ad340609f4b30283e4888325f1415a 085125e8f7cdc99fd91dbd7280373c5b d8823e3156348f5bae6dacd436c919c6 dd53e23487da03fd02396306d248cda0 e99f33420f577ee8ce54b67080280d1e c69821bcb6a8839396f965ab6ff72a70 Каждый их этих блоков дает MD5 хеш равный 79054025255fb1a26e4bc422aef54eb4.

ну итам дальше описано
ps: криво вошло =( короч http://ru.wikipedia.org/wiki/MD5

Цитата:

нет, хэш не обязательно должен состоять из букв и цифр вместе.

Если не сложно, можно пример тогда?

Цитата:

Для вычислений инициализируются 4 переменных размером по 32 бита и задаются начальные значения шестнадцатеричными числами:
А = 01 23 45 67;
В = 89 AB CD EF;
С = FE DC BA 98;
D = 76 54 32 10.

В этих переменных будут храниться результаты промежуточных вычислений. Начальное состояние ABCD называется инициализирующим вектором.

----
судя по лекциям предатора ) я думаю у него адекватный преподаватель
чистый md5 имеет область значений хэшей от 00000000000000000000000000000000 до FFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF (хотя это только область значений, нету точного задавания значений)
а вот в md5(md5()) - область значений может выраждаеться. То есть мд5(мд5) с большой вероятностью может быть составленным только из цифр и букв одновременно. Но я думаю это надо уточнять у тех кот увлекается криптографией, у меня спецкурс по криптографий уже закончился и я успешно спал на нем, и препода увижу только в след семестре чтобы посоветоваться )

предатор подумал и короче мы тут тупим, при одном проходе мд5 у нас просто строка из 32 символа, так что никакого вырождения нету )

Цитата:

[preda1or] (02:31:04 20/01/2009)
хех

[preda1or] (02:31:06 20/01/2009)
реально тупим

[preda1or] (02:31:10 20/01/2009)
вырождение есть

[preda1or] (02:31:14 20/01/2009)

[preda1or] (02:31:17 20/01/2009)
вынос мозга

[NFM] [md5] (02:31:20 20/01/2009)
где?

[preda1or] (02:32:33 20/01/2009)
$string=md5();
md5($string)
$string - это 32байта строка от 0......0000 до F.....FFFF, а значит входной параметр уменьшился до 32^16

[preda1or] (02:32:42 20/01/2009)
то есть до 16^32

[preda1or] (02:32:52 20/01/2009)
вот тебе и вырождение

[preda1or] (02:33:23 20/01/2009)
а просто md5($string) - $string любой длинны и символов

[preda1or] (02:33:27 20/01/2009)
уловил мысль?)

впадлу переписывать