 |
09.11.2021, 00:29
|
|
Участник форума
Регистрация: 17.04.2020
Сообщений: 184
С нами:
3197792
Репутация:
83
|
|
Мне нужно отслеживать сайт каждую секунду на наличие изменений.
Мой вариант (сомневаюсь в его адекватной работоспособности):
Python:
Код:
while
True
:
c1
=
get
(
"https://www.link.com"
)
.
text
c2
=
get
(
"https://www.link.com"
)
.
text
c3
=
get
(
"https://www.link.com/test"
)
.
text
c4
=
get
(
"https://www.link.com/test"
)
.
text
if
c1
!=
c2
:
bot
.
send_message
(
message
.
chat
.
id
,
"На сайте ... произошли изменения.\nВозможная причина: дроп"
,
parse_mode
=
"html"
)
elif
c3
!=
c4
:
bot
.
send_message
(
message
.
chat
.
id
,
"На сайте ... произошли изменения.\nВозможная причина: анонс дропа"
,
parse_mode
=
"html"
)
bot
.
polling
(
none_stop
=
True
)
Необходимо чтобы код срабатывал очень быстро, без задержек итп.
Помогите. |
|
|
09.11.2021, 14:49
|
|
Участник форума
Регистрация: 21.12.2013
Сообщений: 181
С нами:
6522707
Репутация:
83
|
|
сделай задержку хотяб в 0.2 сек
По идеи если сайт будет быстро отвечать и не заблокает тебя по ип, то вроде все четко.
Можно еще попробовать с созданием сессии рекьюста, для разных пользователей твоего бота
|
|
|
|
11.11.2021, 23:32
|
|
Участник форума
Регистрация: 17.04.2020
Сообщений: 184
С нами:
3197792
Репутация:
83
|
|
Сообщение от laiser
сделай задержку хотяб в 0.2 сек
По идеи если сайт будет быстро отвечать и не заблокает тебя по ип, то вроде все четко.
Можно еще попробовать с созданием сессии рекьюста, для разных пользователей твоего бота
Всё круто кроме одной херни которую я не знаю как решить.
Всё работает прекрасно на ВДС и моём ПК, но как только загружаю скрипт на heroku всё просто падает. Я уже имел опыт с heroku и это моя первая неполадка с этим сервисом. Он просто не делает запросы из либы requests. Никаких ошибок, ничего. Просто нет запросов.
Есть идея как решить эту проблему?
Может ты знаешь другие фри хостинги?
|
|
|
|
11.11.2021, 23:58
|
|
Участник форума
Регистрация: 21.12.2013
Сообщений: 181
С нами:
6522707
Репутация:
83
|
|
Сообщение от SOLO WARRIOR
Всё круто кроме одной херни которую я не знаю как решить.
Всё работает прекрасно на ВДС и моём ПК, но как только загружаю скрипт на heroku всё просто падает. Я уже имел опыт с heroku и это моя первая неполадка с этим сервисом. Он просто не делает запросы из либы requests. Никаких ошибок, ничего. Просто нет запросов.
Есть идея как решить эту проблему?
Может ты знаешь другие фри хостинги?
Все бесплатные сервисы блокируют такое, по понятным на то причинам. Ибо нехер холопам нагружать их сервис.
Точно не знаю, но можешь попробовать replit.com. Только там скрипт через какое-то время офается, но можно написать какой-то другой скрипт, который будет его поднимать.
Еще может юзать вдс от амазона или гугл клауд. В гугл дается баланс и его хватает на 3 месяца. В инете полябак должна быть инфа по этому поводу.
|
|
|
|
12.11.2021, 08:09
|
|
Участник форума
Регистрация: 17.04.2020
Сообщений: 184
С нами:
3197792
Репутация:
83
|
|
Сообщение от laiser
Все бесплатные сервисы блокируют такое, по понятным на то причинам. Ибо нехер холопам нагружать их сервис.
Точно не знаю, но можешь попробовать replit.com. Только там скрипт через какое-то время офается, но можно написать какой-то другой скрипт, который будет его поднимать.
Еще может юзать вдс от амазона или гугл клауд. В гугл дается баланс и его хватает на 3 месяца. В инете полябак должна быть инфа по этому поводу.
Запустил на ВДС, там такая проблема что парсится не весь HTML текст. Просто не прогружается. Ставил вне цикла, результат такой же.
Прочитал пару форумов - пишут, что объекты прогружаются после JS. Открыл этот сайт через Internet Explorer и Mozilla на том же ВДС, результат разный. В Эксплорере не прогружается, в Мозилле всё ОК. Но requests на ВДС работает почему-то как Эксплорер, абсолютно то же самое загружает (неполный HTML). Как решить подобное?
|
|
|
|
12.11.2021, 22:55
|
|
Участник форума
Регистрация: 21.12.2013
Сообщений: 181
С нами:
6522707
Репутация:
83
|
|
Сообщение от SOLO WARRIOR
Запустил на ВДС, там такая проблема что парсится не весь HTML текст. Просто не прогружается. Ставил вне цикла, результат такой же.
Прочитал пару форумов - пишут, что объекты прогружаются после JS. Открыл этот сайт через Internet Explorer и Mozilla на том же ВДС, результат разный. В Эксплорере не прогружается, в Мозилле всё ОК. Но requests на ВДС работает почему-то как Эксплорер, абсолютно то же самое загружает (неполный HTML). Как решить подобное?
Ты можешь запустить мазилу с отключенным JS, чтобы полностью убедиться, что сайт может работать без JS.
Если все гуд, то используй юзер агент.
Код:
Код:
headers = {'User-Agent': Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:94.0) Gecko/20100101 Firefox/94.0'}
response = requests.get('site.com', headers=headers).text
Можешь использовать так же fake user agent
Если же сайт не работает без JS, то тут нужно использовать например селениумили другую подобную библиотеку
|
|
|
|
|
|
Предыдущая тема
Следующая тема
|
Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
|
|
|
|
Линейный вид
