ANTICHAT

ANTICHAT (https://forum.antichat.xyz/index.php)
-   Python (https://forum.antichat.xyz/forumdisplay.php?f=205)
-   -   Парсер всех тем заданного раздела с обходом антиддос защиты (https://forum.antichat.xyz/showthread.php?t=1337860)

Oniel 16.07.2019 22:28

Апи ключ, как я понял, давать не будут. Но он, собственно, мне и не сильно нужен. Написал парсер тем заданного раздела, который парсит темы в формате: название темы, тэги темы, содержание темы, автор темы, вложения темы.

Для чего использовать?

Например, как расширенную RSS-ленту. Можно сделать чат-бота (вк, телеграм) с уведомлениями о темах, получением информацией о теме.

Парсер работает только с темами UIX и IO, но изменить не составит труда. Парсер довольно-таки медленный из-за работы с селениум, но если сайт не имеет антиддос защиты, то можно использовать обычные запросы и парсинг будет происходить мгновенно.

Если хотите открыть свой форум, то парсер можно скрутить с XF REST API и быстро набить себе базу тем, если вы понимаете, о чем я.

GitHub - 0niel/xf2-parse: XenForo2 threads parser

XenForo2 threads parser. Contribute to 0niel/xf2-parse development by creating an account on GitHub.

github.com

Ded Perded 16.07.2019 22:54

Цитата:

Сообщение от Oniel

Например, как расширенную RSS-ленту. Можно сделать чат-бота (вк, телеграм) с уведомлениями о темах, получением информацией о теме.

почему бы не использовать RSS?

Oniel 16.07.2019 22:56

Цитата:

Сообщение от Ded Perded

почему бы не использовать RSS?

Как минимум потому, что в ленте ограниченное кол-во отображаемых строк из темы, а выводятся темы не из конкретного раздела, а последние.

™ ChipFamily 16.07.2019 23:11

Цитата:

Сообщение от Oniel

Можно сделать чат-бота (вк, телеграм) с уведомлениями о темах, получением информацией о теме.

Может сразу и сделаешь. Бот от @Niko вконтакте накрылся, а для Telegram'а еще никто не делал.


Время: 15:57