Форум АНТИЧАТ

Форум АНТИЧАТ (https://forum.antichat.xyz/index.php)
-   PHP, PERL, MySQL, JavaScript (https://forum.antichat.xyz/forumdisplay.php?f=37)
-   -   VKontakte Grabber by DX (https://forum.antichat.xyz/showthread.php?t=72306)

d_x 01.06.2008 22:07

VKontakte Grabber by DX
 
VKontakte Grabber 1.0 by DX


Очередной релиз от меня - комплекс скриптов, позволяющих собирать анкеты с vkontakte.ru и сохранять данные в таблицу MySQL.

Описание скрипта:
Скрипт собирает данные из открытых анкет. Необходимо задать несколько десятков аккаунтов вконтакте (сотни валидных хватит точно). Скрипт автоматически выберет все валидные и начнёт сбор, выводя иногда информацию в браузер. По пути будут отбрасываться аккаунты, имеющие рейтинг менее 30% (если таковые окажутся среди заданных). Все данные будут сохраняться в таблицу в БД MySQL. Если запись с заданным id уже существует, она будет просто обновлена. Если скрипт обнаружит сообщение вконтакте "Слишком быстрый просмотр страниц", то автоматически будет применена задержка.
С помощью viewer.php можно сделать выборку из базы по всем доступным полям.
Несмотря на то, что php не поддерживает многопоточность, можно открыть несколько экземпляров скрипта и собирать анкеты с разных диапазонов id.

Скрипт умеет собирать следующие данные:
  • ID
  • Имя
  • Фамилия
  • Пол
  • Дата рождения
  • Город рождения
  • Религиозные взгляды
  • Политические взгляды
  • Семейное положение
  • Мобильный телефон
  • Домашний телефон
  • ICQ
  • web-сайт
  • деятельность
  • ВУЗы
  • школы
  • лицеи
  • гимназии
  • текущий ВУЗ
  • интересы
  • любимая музыка
  • любимые фильмы
  • любимые TV-шоу
  • любимые книги
  • любимые игры
  • любимые цитаты
  • "обо мне"
Из всего этого можно выбрать, что нужно конкретно.

Комплекс состоит из следующих файлов:
  • setup.php - инсталлятор, его необходимо запустить в первую очередь
  • index.php - сам граббер
  • viewer.php - позволяет сделать выборку ID из базы по различным критериям
  • viewid.php - вызывается из viewer.php - просмотр данных о человеке с заданным ID

Требования для работы скрипта:
  • PHP с поддержкой fsockopen и set_time_limit(0); ignore_user_abort - опционально
  • MySQL 4.1 и выше
  • Несколько десятков аккаунтов вконтакте с рейтингом больше 30%

Скачать:
http://stream.ifolder.ru/6823952
http://dump.ru/file_catalog/384800.aspx

Пароль на архив - antichat.

Хозяин 01.06.2008 22:35

ну че я могу сказать, молодец)

MaTpOc 01.06.2008 22:47

:( Как этим пользоваться???

d_x 01.06.2008 22:49

Залить на хост с поддержкой того, что написано в описании (можно и с локалхоста), запустить setup.php, чтобы создать необходимую таблицу в БД, а затем:
index.php - сбор анкет (в нём всё написано)
viewer.php - выборка id из собранного

d_x 01.06.2008 23:17

Добавил функцию выбора. Теперь можно выбрать, что конкретно нужно парсить и сохранять в базу. Обновил ссылки и описание в первом посте.

YoYo Factory 01.06.2008 23:44

Не хочу никого обижать, но я в последнее время заметил, что самый активный кодер на античате это d_x! молодец)

o55rus 02.06.2008 09:21

d_x молодец

Stingers 02.06.2008 09:50

трабла какайто. тыркаю начать и как обновляет страницу =\

d_x 02.06.2008 11:26

Цитата:

тыркаю начать и как обновляет страницу =\
Нужно нажать "Начать" и подождать некоторое время. В браузер иногда будет выводиться информация о собранных анкетах. Вроде бы в IE 7 не выводится, пока соединение не закроется, но точно работает в Opera 9, Firefox 2, IE 6.

Adam-B4198 02.06.2008 11:38

А вопрос мона?
А зачем это надо ? и для чего это может пригодиться...

d_x 02.06.2008 11:44

Это может пригодится, например, для дальнейшей расылки сообщений вконтакте по заданным критериям. Вконтакте поиск ограничен первыми 500 результатами, а этот скрипт позволяет собрать гору открытых анкет и делать выборку по ним без ограничений.

d_x 02.06.2008 21:31

Сделал небольшое обновление, обновил ссылки в первом посте. Иногда неправильно парсились некоторые поля (скрипт включал в них лишние пустые html-теги), теперь это пофиксено.

Foxtrot1 13.06.2008 22:25

Цитата:

Сообщение от d_x
Это может пригодится, например, для дальнейшей расылки сообщений вконтакте по заданным критериям. Вконтакте поиск ограничен первыми 500 результатами, а этот скрипт позволяет собрать гору открытых анкет и делать выборку по ним без ограничений.

а рассылать чем по собранной базе этим скриптом? планируешь сделать или есть уже и я как всегда втанке?

metaN™® 18.06.2008 18:33

Куда после грабба все сохраняется то? :o

Fata1ex 18.06.2008 18:42

Мечта гб )

наотличненько!

diehard 18.06.2008 18:55

Цитата:

Сообщение от metaN™®
Куда после грабба все сохраняется то? :o

В БД. Скрипт очень полезный, где-то после полумиллиона снятых id вконтакт забанил

metaN™® 18.06.2008 20:43

Цитата:

Сообщение от diehard
В БД. Скрипт очень полезный, где-то после полумиллиона снятых id вконтакт забанил

Как к ней добраться скажи плз?
и как вытащить оттуда инфу эту.

Denchis 18.06.2008 21:40

1. Спасибо автору за прогу,действительно вещь!
2. А может потом просто в этом топике эти базы отдельными архивами примеру выложить по таким критериям Id от и до ...
Мммм? как вариант ? =)

Foxtrot1 20.06.2008 00:30

Цитата:

Сообщение от Denchis
1. Спасибо автору за прогу,действительно вещь!
2. А может потом просто в этом топике эти базы отдельными архивами примеру выложить по таким критериям Id от и до ...
Мммм? как вариант ? =)

вариант заебись ))

svesve 20.06.2008 09:42

распределить между участниками диапазоны и снять и будет не полная но хоть какаято база,а потом умный человек ее соберет )
я готов участвовать

GoodGod 24.06.2008 21:30

интересно)
такими темпами можно собрать базу интернет пользователей россии и других стран))
на фейсбуке не пробовали?

Вылажите кто нибудь архивами, что уже накачали, чтоб не качать по 2 раза.

Foxtrot1 25.06.2008 13:47

что потом делать с базой? продавать или что...

icq shell 30.06.2008 09:29

;(рассылачку бы какуенибудь надо... а то собрал я базу и че дальше*

DarkZombie 01.07.2008 13:04

кому продать?)) проще найти человека по фамилии в поиске ВКонтакта. Она разве что может пригодится для целевого спама, и то в далекой перспективе...

GoodGod 02.07.2008 17:52

Поделитесь кто-нить базой в пм.

vitalikis 19.07.2008 17:08

а нет ли возможности зделать так чтобы в грабере можно было указать не диапазон id а город?

Lark1 02.08.2008 08:14

DX несомненно снова нас радует, полезная тулза, в неё бы ещё ф-ию чтобы она парсила только тех кто online )
а в Vkontakte Messenger 1.2 by DX ф-ию чтобы можно было спамить по базе id :rolleyes:

OnArs 02.08.2008 12:03

Цитата:

Сообщение от Adam-B4198
А вопрос мона?
А зачем это надо ? и для чего это может пригодиться...

Было бы круто если бы умела собирать Email адреса всех пользователей вКонтакте.

А так... Ну не лишнее :)

Chuck 03.08.2008 15:37

Загетить страницу и несолько регулярок...
Д_икс, не знаю.. отдельного выноса тема не заслуживает =/

BlackSky 24.08.2008 15:47

а нету грабера чтобы собирал Id юзеров с группы ?

T-Rey 25.08.2008 08:11

Дампом базаы поделится никто не хочет? (:

draliokero 07.04.2009 17:32

Тема старая, а скрипт рабочий. Давайте БД соберем? Собрал ~400 000 из 1 000 000.
Кто за пишите в личку, а там договоримся о диапазоне сбора

-=$MiRoN$=- 16.04.2009 00:56

Молодец)

000111 16.04.2009 01:12

Цитата:

Сообщение от draliokero
Тема старая, а скрипт рабочий. Давайте БД соберем? Собрал ~400 000 из 1 000 000.
Кто за пишите в личку, а там договоримся о диапазоне сбора

аськю скинь :)

Tombik 22.04.2009 05:55

ещё актуален?
На меня ругается:
Код:

Данные введены корректно, начало логина аккаунтов...
Warning: fsockopen() [function.fsockopen]: unable to connect to tcp://vkontakte.ru:80 (Connection timed out) in /home/****/public_html/1/index.php on line 605

Warning: stream_set_timeout(): supplied argument is not a valid stream resource in /home/*****/public_html/1/index.php on line 608
Socket error: Connection timed out (110)

Warning: fsockopen() [function.fsockopen]: unable to connect to tcp://vkontakte.ru:80 (Connection timed out) in /home/*****/public_html/1/index.php on line 605

Warning: stream_set_timeout(): supplied argument is not a valid stream resource in /home/****/public_html/1/index.php on line 608
Socket error: Connection timed out (110)


draliokero 22.04.2009 21:46

Tombik, у меня работает. В основном на ночь оставляю собирать.
Добавил в БД ячейку date, записываю туда дату, когда профиль был сграблен. Если много акков собирают, то банят в течение 2х, 3х дней...

Tombik 22.04.2009 21:52

а чё пишет после:
Данные введены корректно, начало логина аккаунтов...

draliokero 22.04.2009 21:58

Просмотрено анкет: 6000, успешно собрано: 2488. Выполнено: 5.935%
.....
Warning отключил, в БД записи заносятся.

Tombik 22.04.2009 21:59

а у меня это....

Цитата:

Сообщение от Tombik
Код:

Данные введены корректно, начало логина аккаунтов...
Warning: fsockopen() [function.fsockopen]: unable to connect to tcp://vkontakte.ru:80 (Connection timed out) in /home/****/public_html/1/index.php on line 605

Warning: stream_set_timeout(): supplied argument is not a valid stream resource in /home/*****/public_html/1/index.php on line 608
Socket error: Connection timed out (110)

Warning: fsockopen() [function.fsockopen]: unable to connect to tcp://vkontakte.ru:80 (Connection timed out) in /home/*****/public_html/1/index.php on line 605

Warning: stream_set_timeout(): supplied argument is not a valid stream resource in /home/****/public_html/1/index.php on line 608
Socket error: Connection timed out (110)



draliokero 22.04.2009 22:12

Хостер, либо настройки сервера. На джентльмене работает


Время: 00:54