
23.01.2010, 16:05
|
|
Постоянный
Регистрация: 05.12.2004
Сообщений: 647
С нами:
11278406
Репутация:
818
|
|
Сообщение от svesve
http://forum.antichat.ru/showpost.php?p=1699109&postcount=3
http://forum.antichat.ru/showpost.php?p=1725619&postcount=4
у меня стоит 1 из них. Работает на ура.
1-й скрипт не блокирует поисковых ботов, а значит в парсере можно указать ЮзерАгент любого поискового бота и вся система идет лесом.
В добавок если я правильно понял то у ТС парсят контент, а причем тут блокировка если сраницу много раз обновили, парсер при первом посещении украдет все что ему нужно. Если у него парсеры по всему сайту ищут, тут нужно блокировать доступ по Хитам в минуту к примеру, человек за минуту не в состоянии прочитать более 10 страниц, а парсер может и 100 спарсить. Либо блокировать по общему кол-ву хостов, к примеру в день разрешено просмотреть 100 страниц. Но все ето фигня, т.к. прокси можно прикрутить к парсеру.
Сайт иногда падает из за того что эти уроды из компов 5 точно парсят.
Может стоит переехать на более мощное железо раз у тебя от 5 посетителей (парсеров, это неважно, фактически тот же посетитель.) падает сервер.
|
|
|