Просмотр полной версии : madSS - madnet site structure | Сканнер структуры сайта.
Данный сервис предназначен для определения структуры сайта. Часто приходится пользоваться различными сканнерами для определения структуры сайта, но мы забываем, что в 99% случаев до нас это сделал лучший сервис сети, великий и могучий GOOGLE, причем частенько он запоминает то, до чего смертному просто так не добраться. Моя система пытается вытянуть максимум информации о сайте из гугла и построить на ее основе дерево сайта, утилита так же будет полезна web программистам для анализа индексации сайта гуглом.
http://madnet.name/news/19.html
P/S сразу уточню что это альфа версия.
UPDATED
Логическим продолжением
madSS - madnet site structure
стал переход его в
GmadS – Google madnet Scaner
Обуславливается это новыми возможностями системы, а именно:
1) Поиск доступной для просмотра PHPINFO информации
2) Вывод директорий сайта, запрещенных к индексированию
3) Вывод списка Сайтов на сервере aka (ReverseIP)
линк тот же.
guest3297
12.03.2007, 16:51
Спасибо как всегда радуешь нас.
исходники будут?
http://tools.webmasters.sk/sitemap-creator.php
идея конечно ничего... но дорабатывать нужно... вот еще бы помимо гугла еще что нибудь... а то стата маленькая получаеться.
2cash,
доведу до ума, а там наверняка
2tclover,
здесь сервак сам сканит сайт, хотел бы я посмотреть как он просканит скажем 1к страниц + русский чет он никак
Да нормально вроде с русским :)
http://img157.imageshack.us/img157/2343/capture1mu0.jpg
Хорошо.
Следующий шаг - добавить к каждой вершине дерева (goto)
D=P=CH= MOD=
12.03.2007, 18:31
madnet 5 баллов!
Хорошо бы бруттер директорий добавить для полного комплекта)
http://tools.webmasters.sk/sitemap-creator.php
всё уже сделано до нас ;)
всё уже сделано до нас ;)
Это разные сервисы.
Это разные сервисы.
а в чем принципиальная разница?
хотя бы в том, что http://tools.webmasters.sk тупо сканит ресурс, и если нет ссылки на какую-то страницу, то она никогда не появится в результатах, а мой сервис работает с гуглом, который за долгую историю скана собирает много инфы о сайте, к тому же логично что скорасть работы обсалюто отличается, у меня гинерится красивое дерево, а там х3, там не понимает русский язык, к томуж на моем сате тот сервис нашел 20 удаленный страниц, хех у меня всего столько, делаем вывод что криво он работает и т.д. и т.п.
хотя бы в том, что http://tools.webmasters.sk тупо сканит ресурс, и если нет ссылки на какую-то страницу, то она никогда не появится в результатах, а мой сервис работает с гуглом, который за долгую историю скана собирает много инфы о сайте, к тому же логично что скорасть работы обсалюто отличается, у меня гинерится красивое дерево, а там х3, там не понимает русский язык, к томуж на моем сате тот сервис нашел 20 удаленный страниц, хех у меня всего столько, делаем вывод что криво он работает и т.д. и т.п.
Ок. Значит имеем такое:
Там - робот, который шастая показывает as is.
У тебя тулза, которая, используя кэши гугла позволяет построить не только as is по тому что нашастал гугловый робот, но и то что было раньше - это и будет чисто твоя фишка. Нужно будет только научиться отличать старое от нового и получить что-то типа
1 site.net
--1 index.html [ver. -1] [ver. -2] ...
--2 ...
--3 ...
Дальше, раз у тебя есть уже механизм запросов можно дёшево и сердито прикрутить форму "Искать в гугле для каждого листа дерева" и показать результаты в этих самых листах.
Какие у тебя самого мысли о накручивании фич?
Упор делаю на поиск дыр, поэтому различать старое и новое особого смысла не вижу, а по поводу фич что-нить, типа поиска раскрытия пути посредством гугла, запрещеных дир пр роботс.тхт и т.п. толком не определился пока.
Упор делаю на поиск дыр, поэтому различать старое и новое особого смысла не вижу, а по поводу фич что-нить, типа поиска раскрытия пути посредством гугла, запрещеных дир пр роботс.тхт и т.п. толком не определился пока.
IMHO гугл запрещённое роботс.тхт как раз и не покажет (али нет?)
А вот сам роботс.тхт кстати можно было бы распарсить - вдруг там что интересное (отметить на дереве ветки, запрещенные к показу)
кстати кроме роботс.тхт в твоем методе выпадают ещё страницы потэженые как запрещенные к индексированию
http://www.webmascon.com/topics/adv/8a.asp (см. ближе к концу)
IMHO гугл запрещённое роботс.тхт как раз и не покажет (али нет?)
google нет, я да.
Dracula4ever
13.03.2007, 10:11
Просто красота :-)
Будем ждать исходников от всего серца и души :d
Обновил сканнер, подробности в 1м посте.
sergeich
09.04.2007, 23:00
Хорошая штука =) Надо только цвет шрифта поменять, пока приходится ctrl+a нажимать чтоб читабельно было, и в дизайн список не вписывается (размером - но это мелочи ))
Даешь open source ! :D
++
guest3297
09.04.2007, 23:52
sergeich
юзай ie. тогда все будет вписываться.
sergeich
10.04.2007, 13:18
madnet
FireFox 2.0.0.3
[ cash ]
К IE доверия нет ;)
guest3297
10.04.2007, 14:33
madnet (http://forum.antichat.ru/member.php?u=14396)
Та ФФ не корректно отображает страницу (цвет+границы).
madnet
FireFox 2.0.0.3
']madnet (http://forum.antichat.ru/member.php?u=14396)
Та ФФ не корректно отображает страницу (цвет+границы).
ИСПРАВЛЕНО
Robin_Hood
05.05.2007, 10:43
ИСПРАВЛЕНО
уверен?
http://img149.imageshack.us/img149/449/10921092vz7.png
blackybr
06.05.2007, 11:36
глюк в мозилле..
http://img296.imageshack.us/img296/558/madnetmq5.gif
Подправил некоторые мелочи +
Добавил
-вывод основного Ip
-страну
-Версию демона, возвращаемого сервером.
Хех)) Вот чё твоим скриптом нашёл интересненького :)
http://ya.ru/robots.txt
http://google.com/robots.txt
NApoleonchik
06.07.2007, 17:49
Сделай форматирование ссылок получше и будет ВО!
У не работает на сайтах с низкой посещаемостью и "замороженых"...
_http://bonchbrubonch.ru/
Сделай форматирование ссылок получше и будет ВО!
Конкретнее?
У не работает на сайтах с низкой посещаемостью и "замороженых"...
_http://bonchbrubonch.ru/
Это не сайт с низкой посещаемостью, а сайт о котором гугл ничего не слышал.
не знаю что он имел в виду)Но
у тебя там дерево выводится
было удобно чтобы можно было нажать мышкой на и перейти страницу в этом дереве.
dtree
там вроде легко будет
это сделать
halkfild
09.07.2007, 00:06
да только все рефферы будут идти с сайта madnet.. я ему такая популярность незачем.
имхо: если сильно надо то сделать рядом текстовое представление ссылки на ресурс
З.Ы. за тузлу респект :)) но есть недочеты.. например пишет иногда что файл это папка.. как на самом деле нет
вообще-то можно сделать и без реферера.
Исправил проблему с отображением в FireFox
не знаю что он имел в виду)Но
у тебя там дерево выводится
было удобно чтобы можно было нажать мышкой на и перейти страницу в этом дереве.
Сделал переход на страницу по клику.
А так же добавил поддержку буржуйского языка.
Рульная штука. Из нее я узнал что гугль по моему сайту плохо прошелся.
только несколько папок и то самые редкооткрываемые...
2madnet
округлил репутацию (+) =)
Talisman
26.07.2007, 11:50
при сканировании сайта hexxgames.ru невыдает некоторые расширения, например:
faq.
index.
index.php
login.
memberlist.
profile.php
search.
search.php
viewforum.
viewonline.
viewtopic.
Кроме всего можно сдеоать потск и по Yandex
он тоже потдерживает дополнительные параметры поиска
такиеже как и гугл
neon_fx, зачем?
Google итак дает максимальную информацию
ReanimatoR
19.06.2008, 12:39
частенько есть проблемы с расширениями. например отображется в виде папки /forum/
а на самом деле это forum.php. modrewrite не стоит=)
Частенько пользуюсь! Так держать!
madnet, это лучшая бесплатная вещь в сети
но, к сожалению, слабоватенько... google не рулит, туго у него с индексацией
madnet, это лучшая бесплатная вещь в сети
но, к сожалению, слабоватенько... google не рулит, туго у него с индексацией
нифига себе, ты знаешь кого-то кто лучше индексирует?
Assembler
18.02.2009, 00:00
madnet, это лучшая бесплатная вещь в сети
но, к сожалению, слабоватенько... google не рулит, туго у него с индексацией
Ага у яндеса наверно лучше ухахаха =)
AkyHa_MaTaTa
18.02.2009, 01:36
Ех еще бы хотя бы пару распротаненых папочек и файлов сканил(admin.php,/admin/ и т.п. штук хотя бы 5-10) окромя robots.txt и php.php и phpinfo.php, конечно согласен для этого есть другой софт, ну все же было бы god.
shellz[21h]
24.02.2009, 23:31
Вывод списка Сайтов на сервере aka (ReverseIP)
по какому принципу работает? не могу понять, как скрипт проверяет сколько доменов висит на ip, можете рассказать, заранее спасибо.
ultimatum
09.05.2009, 03:15
как скрипт проверяет сколько доменов висит на ip
http://1stat.ru/?show=neighbours&search_name=89.108.125.122
А дальше ваши мозги
shellz[21h]
09.05.2009, 13:18
http://1stat.ru/?show=neighbours&search_name=89.108.125.122
А дальше ваши мозги
Это конечно, все понятно. Что с подобных сайтов можно спарсить, мне интересен механизм, как делаетcя реверс. Через DNS transfer zone, не всегда возможно получить.
madnet, шо хана ресурсу? есть на дежда на спасение?
xcedz, видать сегодня упал, я его каждый день юзаю, буквально вчера работал
HAXTA4OK
04.02.2010, 12:25
xcedz, видать сегодня упал, я его каждый день юзаю, буквально вчера работал
буквально еще вчера и упал...
он мне вчера так нужн был, блин
хорошо , что сегодня подняли
c0n Difesa
11.02.2010, 14:37
Если вдруг по какой-либо причине ресурс уважаемого Madnet’a теряет нужный функционал, могу предложить использовать альтернативную разработку: Skaniki (_http://defec.ru/scaner/). Утилита обладает схожим функционалом (_https://forum.antichat.ru/thread174502.html).
Проект ни в коем случае нельзя позиционировать как конкурент GmadSS, напротив, всегда стоит иметь несколько схожих по функционалу утилит с целью повышения «объективности» получаемой информации.
АААААААААААААА!!! ПАНИКА!!!
Домен madnet.name блокирован!!!
Информация по домену madnet.name Причиной блокировки данного ресурса может быть
1) задолженность на абоненстком счету
2) содержимое сайта нарушает законодателсьтво РФ.
3) нагрузка ресурса на сервер.
Если Вы ЯВЛЯЕТЕСЬ ВЛАДЕЛЬЦЕМ данного ресурса, то узнать причину блокировки аккаунта madnet.name Вы можете по телефонам:
+7 812 4932804 (С.-Петербург)
+7 495 9692791 (Москва)
платный хостинг Hostland.ru
Домен madnet.name блокирован!!!
:( опять
Все работает, бывают сбои.
FOX-FLEH
18.03.2010, 20:48
всё работает)
ReanimatoR
24.03.2010, 02:44
а я уж было из закладок стер...
Перестал показывать структуру сайта. Постоянно- root и всё. Гугл поменял код выдачи.
К сожалению, не хватает свободного времени следить за сайтом, прошу прощения за задержку, работоспособность сервиса восстановлена!
vBulletin® v3.8.14, Copyright ©2000-2026, vBulletin Solutions, Inc. Перевод: zCarot