IMHO гугл запрещённое роботс.тхт как раз и не покажет (али нет?)

А вот сам роботс.тхт кстати можно было бы распарсить - вдруг там что интересное (отметить на дереве ветки, запрещенные к показу)

кстати кроме роботс.тхт в твоем методе выпадают ещё страницы потэженые как запрещенные к индексированию
http://www.webmascon.com/topics/adv/8a.asp (см. ближе к концу)