Проблема такова: хотел написать парсер банлиста с форума, но столкнулся с защитой от ддос которая блокирует подключение на 5секунд. Как решить такую проблемы? При парсинге текст не получает, код верный - тестил.
Эмулировать браузер. Загугли что такое selenium (есть ещё phantomjs). Так же мало вероятно но если ты делаешь с одного ИП то можешь просто с браузера взять куки и юзерагент и в запросе отправить.
Эмулировать браузер. Загугли что такое selenium (есть ещё phantomjs). Так же мало вероятно но если ты делаешь с одного ИП то можешь просто с браузера взять куки и юзерагент и в запросе отправить.
Цитата:
Сообщение от BBooGG
Эмулировать браузер. Загугли что такое selenium (есть ещё phantomjs). Так же мало вероятно но если ты делаешь с одного ИП то можешь просто с браузера взять куки и юзерагент и в запросе отправить.
Если что я парсить буду на свой сайт, как-то легче можно?
Если что я парсить буду на свой сайт, как-то легче можно?
Ну смотри скорее всего когда ты делаешь первый запрос и прилетает эта заглушка то в коде страницы будет встроенный скрипт который и ставит эту куку в браузер. Ты можешь при первом запросе с помощью регулярок получить эту куку и в следующих запросах просто её отправлять.