
12.03.2007, 20:25
|
|
Новичок
Регистрация: 09.03.2007
Сообщений: 25
Провел на форуме: 125732
Репутация:
49
|
|
Сообщение от madnet
Упор делаю на поиск дыр, поэтому различать старое и новое особого смысла не вижу, а по поводу фич что-нить, типа поиска раскрытия пути посредством гугла, запрещеных дир пр роботс.тхт и т.п. толком не определился пока.
IMHO гугл запрещённое роботс.тхт как раз и не покажет (али нет?)
А вот сам роботс.тхт кстати можно было бы распарсить - вдруг там что интересное (отметить на дереве ветки, запрещенные к показу)
кстати кроме роботс.тхт в твоем методе выпадают ещё страницы потэженые как запрещенные к индексированию
http://www.webmascon.com/topics/adv/8a.asp (см. ближе к концу)
|
|
|