Роботс у белого дома !
 

http://www.whitehouse.gov/robots.txt
в общем около 2к запретов индексирования .. нигде такого не вилел .. хотя этого стоило ожидать ..

// если глянуть на гугл то у него всего 130 запретов (ппц не знал раньше что гугл сам себе запрещает индексироватся ))

эксклюзивная порнуха?(пути стремные)

Может они просто додди?

Не понимаю зачем хранить базы данных / платежные данные вместе с сайтом

+1

ну типо у всех есть свои сикреты от настырных гугло-ботов )) а в следствии и обычных юзеров ..

// или просто бушу страшно - вот он и понаписал роботсов на 2к строчек :D
это у него развился комплекс , боится от власти уходить (как путин он поступить не сможет) ..

большинство ссылок ведут на статьи в упрощенном виде
/visit/india/text та же статья что и /visit/india/