ANTICHAT

ANTICHAT (https://forum.antichat.xyz/index.php)
-   Общие вопросы программирования (https://forum.antichat.xyz/forumdisplay.php?f=206)
-   -   Изменение на сайте. (https://forum.antichat.xyz/showthread.php?t=1407813)

pomidorq 09.11.2021 00:29
Мне нужно отслеживать сайт каждую секунду на наличие изменений.

Мой вариант (сомневаюсь в его адекватной работоспособности):

Python:





Код:
while
True
:
c1
=
get
(
"https://www.link.com"
)
.
text

    c2
=
get
(
"https://www.link.com"
)
.
text

    c3
=
get
(
"https://www.link.com/test"
)
.
text

    c4
=
get
(
"https://www.link.com/test"
)
.
text
if
c1
!=
c2
:
bot
.
send_message
(
message
.
chat
.
id
,
"На сайте ... произошли изменения.\nВозможная причина: дроп"
,
parse_mode
=
"html"
)
elif
c3
!=
c4
:
bot
.
send_message
(
message
.
chat
.
id
,
"На сайте ... произошли изменения.\nВозможная причина: анонс дропа"
,
parse_mode
=
"html"
)
bot
.
polling
(
none_stop
=
True
)


Необходимо чтобы код срабатывал очень быстро, без задержек итп.

Помогите.

laiser 09.11.2021 14:49
сделай задержку хотяб в 0.2 сек

По идеи если сайт будет быстро отвечать и не заблокает тебя по ип, то вроде все четко.

Можно еще попробовать с созданием сессии рекьюста, для разных пользователей твоего бота

pomidorq 11.11.2021 23:32
Цитата:
Сообщение от laiser

сделай задержку хотяб в 0.2 сек
По идеи если сайт будет быстро отвечать и не заблокает тебя по ип, то вроде все четко.

Можно еще попробовать с созданием сессии рекьюста, для разных пользователей твоего бота
Всё круто кроме одной херни которую я не знаю как решить.

Всё работает прекрасно на ВДС и моём ПК, но как только загружаю скрипт на heroku всё просто падает. Я уже имел опыт с heroku и это моя первая неполадка с этим сервисом. Он просто не делает запросы из либы requests. Никаких ошибок, ничего. Просто нет запросов.

Есть идея как решить эту проблему?

Может ты знаешь другие фри хостинги?

laiser 11.11.2021 23:58
Цитата:
Сообщение от SOLO WARRIOR

Всё круто кроме одной херни которую я не знаю как решить.

Всё работает прекрасно на ВДС и моём ПК, но как только загружаю скрипт на heroku всё просто падает. Я уже имел опыт с heroku и это моя первая неполадка с этим сервисом. Он просто не делает запросы из либы requests. Никаких ошибок, ничего. Просто нет запросов.

Есть идея как решить эту проблему?
Может ты знаешь другие фри хостинги?
Все бесплатные сервисы блокируют такое, по понятным на то причинам. Ибо нехер холопам нагружать их сервис.

Точно не знаю, но можешь попробовать replit.com. Только там скрипт через какое-то время офается, но можно написать какой-то другой скрипт, который будет его поднимать.

Еще может юзать вдс от амазона или гугл клауд. В гугл дается баланс и его хватает на 3 месяца. В инете полябак должна быть инфа по этому поводу.

pomidorq 12.11.2021 08:09
Цитата:
Сообщение от laiser

Все бесплатные сервисы блокируют такое, по понятным на то причинам. Ибо нехер холопам нагружать их сервис.
Точно не знаю, но можешь попробовать replit.com. Только там скрипт через какое-то время офается, но можно написать какой-то другой скрипт, который будет его поднимать.
Еще может юзать вдс от амазона или гугл клауд. В гугл дается баланс и его хватает на 3 месяца. В инете полябак должна быть инфа по этому поводу.
Запустил на ВДС, там такая проблема что парсится не весь HTML текст. Просто не прогружается. Ставил вне цикла, результат такой же.

Прочитал пару форумов - пишут, что объекты прогружаются после JS. Открыл этот сайт через Internet Explorer и Mozilla на том же ВДС, результат разный. В Эксплорере не прогружается, в Мозилле всё ОК. Но requests на ВДС работает почему-то как Эксплорер, абсолютно то же самое загружает (неполный HTML). Как решить подобное?

laiser 12.11.2021 22:55
Цитата:
Сообщение от SOLO WARRIOR

Запустил на ВДС, там такая проблема что парсится не весь HTML текст. Просто не прогружается. Ставил вне цикла, результат такой же.

Прочитал пару форумов - пишут, что объекты прогружаются после JS. Открыл этот сайт через Internet Explorer и Mozilla на том же ВДС, результат разный. В Эксплорере не прогружается, в Мозилле всё ОК. Но requests на ВДС работает почему-то как Эксплорер, абсолютно то же самое загружает (неполный HTML). Как решить подобное?
Ты можешь запустить мазилу с отключенным JS, чтобы полностью убедиться, что сайт может работать без JS.

Если все гуд, то используй юзер агент.

Код:





Код:
headers = {'User-Agent': Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:94.0) Gecko/20100101 Firefox/94.0'}
response = requests.get('site.com', headers=headers).text


Можешь использовать так же fake user agent

Если же сайт не работает без JS, то тут нужно использовать например селениумили другую подобную библиотеку


Время: 23:15