ANTICHAT.XYZ    VIDEO.ANTICHAT.XYZ    НОВЫЕ СООБЩЕНИЯ    ФОРУМ  
Баннер 1   Баннер 2
Antichat снова доступен.
Форум Antichat (Античат) возвращается и снова открыт для пользователей. Здесь обсуждаются безопасность, программирование, технологии и многое другое. Сообщество снова собирается вместе.
Новый адрес: forum.antichat.xyz
Вернуться   Форум АНТИЧАТ > Программирование > PHP, PERL, MySQL, JavaScript
   
Ответ
 
Опции темы Поиск в этой теме Опции просмотра

Парсинг сайта браузерной игры
  #1  
Старый 04.02.2010, 23:33
Аватар для Tisar
Tisar
Новичок
Регистрация: 12.09.2009
Сообщений: 11
Провел на форуме:
71774

Репутация: 0
Question Парсинг сайта браузерной игры

Некоторое время назад играл в браузерку Ботва-Online, так вот, там было большой проблемой поиск противника в соответствии со своим лвлом и статами. Нашёл сайт (написаный на JavaScript) который осуществляет подобный поиск, но при поиске приходилось долго ждать результата т.к. парсинг и проверка соответствия требуемым параметрам производилась на стороне пользователя. Некоторое назад сайт загнулся, а автор не планирует его в дальнейшем обслуживать.

Хочу попробовать создать подобный сайт, но с гораздо более гибкими возможностями поиска и мгновенным выводом результата (поиск будет производиться в заранее созданной БД с характеристиками всех игроков). Вот тут и подстерегает главная проблема. По данным разработчиков браузерной игры всего было выполнено 1,5 милиона регистраций новых персонажей. БД желательно обновлять раз в 3-7 дней т.е. за час нужно производить парсинг ~ 9 000 страниц (10-15 Кбайт). (не беру в расчёт, что в будущем можно будет обновлять так часто только реально играющих игроков, а остальных ещё реже)

Внимание вопрос:
1) Бред или не бред, а вполне реализуемо?
2) Не забанит ли хостер за подобные дела?
3) ваши мысли по возможности реализации.
4)
 
Ответить с цитированием

  #2  
Старый 04.02.2010, 23:38
Аватар для olishort
olishort
Участник форума
Регистрация: 13.04.2009
Сообщений: 121
Провел на форуме:
436858

Репутация: 33
По умолчанию

Вполне реализуемо
Не должен
Трафика правда многа
 
Ответить с цитированием

  #3  
Старый 04.02.2010, 23:38
Аватар для mr.The
mr.The
Познавший АНТИЧАТ
Регистрация: 30.04.2007
Сообщений: 1,206
Провел на форуме:
4778940

Репутация: 1257


Отправить сообщение для mr.The с помощью ICQ
По умолчанию

1) реализуемо
2) купи вдс\впс
3) preg_math твой друг
 
Ответить с цитированием

  #4  
Старый 05.02.2010, 23:23
Аватар для Tisar
Tisar
Новичок
Регистрация: 12.09.2009
Сообщений: 11
Провел на форуме:
71774

Репутация: 0
По умолчанию

Вначале планируется доход только от рекламы на сайте и в этом случае мало вероятно что окупятся расходы на VPS / VDS сервер (700-900 руб./месяц).
1) Мб кто нибудь знает хостинги, где к парсингу боле мене закрывают глаза? (некоторые люди меня быстренько отправят в Google, хотелось бы услышать мнения людей пользовавшихся или слышавшие о таких хостерах)
2) как я понял если используешь VPS / VDS сервер, то провайдер без разнице чем ты на нём занимаешься? Хоть для рассылки спама используй данный сервер?

Набросал часть скрипта для парсинга и получилось что для его реализации мне требуется: CURL, tidy (для исправления полученной страници) и т.к. не очень пока дружу с регулярными выражениями, то для парсинга использую DOM.

Последний раз редактировалось Tisar; 05.02.2010 в 23:52..
 
Ответить с цитированием

  #5  
Старый 16.02.2010, 23:37
Аватар для Tisar
Tisar
Новичок
Регистрация: 12.09.2009
Сообщений: 11
Провел на форуме:
71774

Репутация: 0
Question

В общем вопрос остался тот же, но с некоторыми дополнениями:

Вначале планируется доход только от рекламы на сайте и в этом случае мало вероятно что окупятся расходы на VPS / VDS сервер (700-900 руб./месяц).
1) Мб кто нибудь знает платные хостинги (как я понял искать бесплатный хостинг с поддержкой Curl бесполезное занятие), где на парсинг боле мене закрывают глаза? (парсить сайт буду через прокси, иначе думаю админы ресурса который будут парсить быстро спалят меня) (некоторые люди меня быстренько отправят в Google, хотелось бы услышать мнения людей пользовавшихся или слышавшие о таких хостерах)
2) как я понял если используешь VPS / VDS сервер, то провайдер без разнице чем ты на нём занимаешься? Хоть для рассылки спама используй данный сервер?

Переписал весь скрипт парсера (Парсить теперь буду регулярными выражениями. В итоге вышло надёжнее и удобнеею) и теперь для его работы мне требуется только Curl.
 
Ответить с цитированием

  #6  
Старый 17.02.2010, 00:17
Аватар для Solker
Solker
Участник форума
Регистрация: 04.05.2006
Сообщений: 161
Провел на форуме:
389768

Репутация: 158
По умолчанию

Можно и без Curl'a, fsockopen. Зачем тебе VDS? Найди старый комп, купи за 300 рублей у соседа. Накатай на него Debian (не Debian). Повесь апач и веб сервер.
Теперь у тебя есть тестовая платформа для тестирования твоего мега-парсера (4 регулки?). Твой парсер - это один скрипт. Который просто по циклу прогоняет все страницы пользователей и собирает данные, создает md5, сравнивает с тем, что в базе. Если изменился - то записывает новые.
Запускаешь скрипт в работе 24ч с промежутком между циклами 30секунд например, чтоб наверника. И после завержения он снова вызывает сам себя.
Спустя пару дней смотришь базу, пробуешь писать обработчик всего этого.

И если случилось чудо и ты написал обработчик (и он даже работает). То беги и оплачивай свой VDS (который тебе нахрен нужен).
 
Ответить с цитированием

  #7  
Старый 17.02.2010, 00:35
Аватар для QtQDuck
QtQDuck
Познающий
Регистрация: 01.08.2007
Сообщений: 43
Провел на форуме:
288786

Репутация: 5
По умолчанию

Был БОТ, который работает именно с парсингом. Причем конкретно для Ботвы... Не знаю как сейчас, но пол года назад,может год, такой бот был.
Так что ДА, реализуемо.
Цитата:
Сообщение от Tisar  
1) Мб кто нибудь знает хостинги, где к парсингу боле мене закрывают глаза? (некоторые люди меня быстренько отправят в Google, хотелось бы услышать мнения людей пользовавшихся или слышавшие о таких хостерах)
2) как я понял если используешь VPS / VDS сервер, то провайдер без разнице чем ты на нём занимаешься? Хоть для рассылки спама используй данный сервер?

Набросал часть скрипта для парсинга и получилось что для его реализации мне требуется: CURL, tidy (для исправления полученной страници) и т.к. не очень пока дружу с регулярными выражениями, то для парсинга использую DOM.
1) Ищи дешевый хостинг. Они даже и не проверяют(или просто закрывают глаза)...по крайней мере у меня именно так.
2) Использую VPS\VDS сервер, за 3 месяца никаких претензий ко мне не было.

Последний раз редактировалось QtQDuck; 17.02.2010 в 00:39..
 
Ответить с цитированием

  #8  
Старый 17.02.2010, 09:54
Аватар для Tisar
Tisar
Новичок
Регистрация: 12.09.2009
Сообщений: 11
Провел на форуме:
71774

Репутация: 0
Thumbs down

Цитата:
Сообщение от Solker  
Можно и без Curl'a, fsockopen. Зачем тебе VDS? Найди старый комп, купи за 300 рублей у соседа. Накатай на него Debian (не Debian). Повесь апач и веб сервер.
Теперь у тебя есть тестовая платформа для тестирования твоего мега-парсера (4 регулки?). Твой парсер - это один скрипт. Который просто по циклу прогоняет все страницы пользователей и собирает данные, создает md5, сравнивает с тем, что в базе. Если изменился - то записывает новые.
Запускаешь скрипт в работе 24ч с промежутком между циклами 30секунд например, чтоб наверника. И после завержения он снова вызывает сам себя.
Спустя пару дней смотришь базу, пробуешь писать обработчик всего этого.

И если случилось чудо и ты написал обработчик (и он даже работает). То беги и оплачивай свой VDS (который тебе нахрен нужен).
Почему ваш ответ настолько скептический? Вы сразу родились "крутым" программист не когда не учились, не спрашивали у людей как лучше поступить? В БД у меня парсится 21 параметр. Обработчик просто выводит данные на страницу в соответствии с некоторыми условиями, всё эти условия задаются в MySQL запросе.
 
Ответить с цитированием

  #9  
Старый 17.02.2010, 11:57
Аватар для Solker
Solker
Участник форума
Регистрация: 04.05.2006
Сообщений: 161
Провел на форуме:
389768

Репутация: 158
По умолчанию

Я просто хочу сэкономить ваши деньги.
Сначала надо что-то сделать а потом уже бежать и оплачивать сервер, а не наоборот.
 
Ответить с цитированием

  #10  
Старый 17.02.2010, 17:08
Аватар для b3
b3
Постоянный
Регистрация: 05.12.2004
Сообщений: 647
Провел на форуме:
1698585

Репутация: 818


Отправить сообщение для b3 с помощью ICQ
По умолчанию

Цитата:
(поиск будет производиться в заранее созданной БД с характеристиками всех игроков).
Бред, ктото воспользуется твоим поиском, нападет на противника, а статы противника парсились не только что а к примеру 25 минут назад, и противник получил ЛВЛап и прокачал статы на все бабки, и он тебя разрывает в сухую.

ЗЫ Игра понравилась, я даже бота написал накручивающего бабки за приглашения прокси ботов, сейчас пишу бота для файтинга каждые 15 минут.
 
Ответить с цитированием
Ответ



Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Создание браузерной онлайн игры soxer PHP, PERL, MySQL, JavaScript 0 02.08.2009 15:31
Шпаргалки для сертификатов по Битрикс Liar PHP, PERL, MySQL, JavaScript 7 30.05.2009 10:13
Раскрутка сайта heks Статьи 15 15.02.2009 19:51



Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 


Быстрый переход




ANTICHAT.XYZ