http://www.whitehouse.gov/robots.txt
в общем около 2к запретов индексирования .. нигде такого не вилел .. хотя этого стоило ожидать ..

// если глянуть на гугл то у него всего 130 запретов (ппц не знал раньше что гугл сам себе запрещает индексироватся ))