А вы видели роботс у белого дома !?

[159932]

http://www.whitehouse.gov/robots.txt
в общем около 2к запретов индексирования .. нигде такого не вилел .. хотя этого стоило ожидать ..

// если глянуть на гугл то у него всего 130 запретов (ппц не знал раньше что гугл сам себе запрещает индексироватся ))

[smOleg]

эксклюзивная порнуха?(пути стремные)

[FeraS]

Может они просто додди?

[brasco2k]

Не понимаю зачем хранить базы данных / платежные данные вместе с сайтом

[diznt]

+1

[159932]

ну типо у всех есть свои сикреты от настырных гугло-ботов )) а в следствии и обычных юзеров ..

// или просто бушу страшно - вот он и понаписал роботсов на 2к строчек :D
это у него развился комплекс , боится от власти уходить (как путин он поступить не сможет) ..

[Goudini]

большинство ссылок ведут на статьи в упрощенном виде
/visit/india/text та же статья что и /visit/india/