Truesort by ErrorNeo - программа для сортировки словарей
 

Представляю вашему вниманию программу для сортировки и упорядочивания текстовых файлов (словарей) TrueSort.

- Что делает TrueSort?
- превращает любое количество текстовых файлов в подпапке input в один упорядоченный по алфавиту и не имеющий дублей файл в подпапке output.

- Чем он отличается от аналогов?
*требует для работы менее 80мб ОЗУ
*гарантированно не оставляет за собой дублей ("брака")
*умеет обрабатывать файлы, содержащие в словах символы любых кодировок (в том числе символы nil и EOF)
*работает на порядки быстрее любой из существующих аналогичных программ
*способен обрабатывать много-гигабайтовые файлы и создавать многогигобайтовые пасслисты.
*ксательно скрости:

5 словарей по ~500мегов (суммарно 2589mb) объединяются в один 1143mb упорядоченный и без дублей словарь на одноядерном 2 Ггц процессоре за 34 с половиной минуты (тестил на ноуте).
Более 1 ядра программа использовать не умеет

Скрины:
http://img687.imageshack.us/img687/1390/ts0v.jpg
http://img571.imageshack.us/img571/6624/ts2gt.jpg


Примечания:
*программа подробно рассказывает о том, что она делает в данный момент в логе. К сожалению, ведение такого отчета тормозит её работу в 2 или 3 раза, потому если вам нужна скорость - ставьте переключатель "Turbo" в положеие on. Это откючит лог и прибавит 100-200% скорости
*к программе прилагается исходный код (проект на дельфи-6) для тех, кто хочет что-либо под-пилить или выпилить, а так же для тех, кто брезгует использовать чужое ПО без исходных кодов.
*программа изначально была выложена мной в закрытом разделе хэшкрекинг.ру, и тогда же я пообещал выложить её в паблик через пол-года. Пол-года прошли, и, более того, я публикую её не только фри но и опенсурс.
*программа нормально обрабатывает input'ы до 15 гигов, стабильно - до 10. Если в инпуте больше 20 гигов за раз - может не справится. Если у вас более 15 гигов инпута - обрабатывайте по 10 гигабайт. Я таким образом обработал более 80 гигабайт, когда собирал свой словарь.
Максимальный пасслист который я ей создавал - 6,5 гига. 13-гиговый пасслист (объединить 2 словаря по 6,5 гига) мне создать не удалось - программа не потянула, в причины я не вникал - мне этого было достаточно.
* в архиве 2 версии - truesort.exe и truesortEOF.exe
-truesort.exe позволяет обрабатывать словари, созданные как под windows так и под *NIX (иногда сожержащие в паролях символы nil и EOF), которые считаются признаком конца файла для большинства виндовых программ, но обычными символами в *NIX. Это плюс. Минус версии - файлы в инпуте должы быть менее 4 гигов каждый, иначе прогармма читает только первые 4 гига и считает что файл кончился, даже если сам файл имеет размер 20 гигов.
-truesortEOF.exe обрабатывает файлы любого размера, хоть 20 гигабайт, но если встретит в файле некоторые нечитаемые (служебные для ОС windows) символы - посчитает эти символы концом файла, как посчитал бы, например, блокнот.

скачать с исходниками
http://narod.ru/disk/21769885000/truesort.rar.html
http://rapidshare.com/files/397832696/truesort.rar.html
http://depositfiles.com/files/ukj4cb4fr
http://www.sendspace.com/file/2buduw

Таки зарелизил, поздравляю :)
Программа и правда невероятно шустрая, способна гигабайтные файлы чекать с огромной скоростью.

оО это да.) , порадовали абсолютно все нововведения. (да, и нужная во всех областях практически) . Молодец, преогромное спасибо.

интересно , сколько времени на это ушло.

p.s. "Вас приветствует программа для сортировки слвоарей True Soft" (1 скрин, 1 строка)

грамматическая ошибка. если уже в курсе - то извиняй( . (просто напомнил/подсказал)

=)) опечатка, тока и всего. ушло - и много и мало.
первая версия этой программы есть в гугле (и на ачате и на хэшкрекинге) - PPLC 1.0 alpha - на то чтобы сделать её ушло вечеров 5 - это было год назад.
Она умела создавать словари до 50 мегов в базовой версии и до 150 мегов в улучшенной (что есть максимум того, что могут любые аналогичные программы, даже сейчас.)
Потом была еще одна, но в паблик я её не выкладывал - PPLC 2.0. Она была только у мемберов закрытой группы хэшкрекинг.ру, но в ней были баги (3% конечного словаря все равно были дубли) + на то, чтобы создать из 5 гигабайт инпута 1 гиговый словарь требовалось более 20 часов работы на 3ггц процессоре, штук 7 операций в тотал командере и штук 5-6 "стандартных" ошибок, которые непонятно откуда брались (требовался перезапук программы, которая продаолжала работу с моента остановки)
В общем вторая версия работала через Жо=) но работала. Её я делал из первой версии тоже вечеров 5.
Ну а эту я уже писал с нуля) Долго рзмышлял над тем, как эффективнее реализовать - пробовал разные методы, и в конечном итоге остановился на самом, в общем-то, примитивном и простом методе. После чего как и положено удивился "почему же никто не написал этого раньше" :D На эту версию ушлю тоже вечеров 6, из которых три тестил тупиковые пути, полтора писал саму сортировку и еще полтора вечера добавлял рюшечки и типа интерфейс :D

Всё хорошо в программе, но вот то что символы всякие она переваривает выливается и в проблему, например PasswordsPro потом не переваривает такой словарь, доходит до определённого символа и переходит на следующий словарь в списке. Хотя проблема эта конечно скорее PasswordsPro, так как с hashcat таких проблем нет.

для таких целей у меня есть программа "Выпиливатель" (desintegrator)

в подпапку input кидается любое количество любых файлов (можно прямо в папках), и всё это собирается программой в один неупорядоченный файл ("склеивается"), при этом фильтруются все нечитаемые символы.

скачать с исходным кодом:
http://www.sendspace.com/file/wprgfi
http://narod.ru/disk/21778266000/desintegrator.rar.html
http://depositfiles.com/files/ol7shlmx7

зы
эта программа может пригодиться, если нужно сделать словарь их цклого дерева папок, где есть не только текстовики, но и екзешники, и картинки, итд..
она выбирает из этого всего только сочетания читаемях символов длиннее заданной велечины, и сохраняет всё что нашла в единый файл, который потом легко и удобно можно обаботать Truesort-ом

Так вот она, та самая... Молодец. Действительно быстро работает.

ErrorNeo, это новая версия или та же самая?

старая, написана зимой. с сурсами на дельфи. сурс собственно оч. простой несмотря на эфективность программы.
более новых версий я не делал, потому как достаточно и того, как работает эта