VKontakte Grabber by DX

[d_x]

VKontakte Grabber 1.0 by DX

Очередной релиз от меня - комплекс скриптов, позволяющих собирать анкеты с vkontakte.ru и сохранять данные в таблицу MySQL.

Описание скрипта:
Скрипт собирает данные из открытых анкет. Необходимо задать несколько десятков аккаунтов вконтакте (сотни валидных хватит точно). Скрипт автоматически выберет все валидные и начнёт сбор, выводя иногда информацию в браузер. По пути будут отбрасываться аккаунты, имеющие рейтинг менее 30% (если таковые окажутся среди заданных). Все данные будут сохраняться в таблицу в БД MySQL. Если запись с заданным id уже существует, она будет просто обновлена. Если скрипт обнаружит сообщение вконтакте "Слишком быстрый просмотр страниц", то автоматически будет применена задержка.
С помощью viewer.php можно сделать выборку из базы по всем доступным полям.
Несмотря на то, что php не поддерживает многопоточность, можно открыть несколько экземпляров скрипта и собирать анкеты с разных диапазонов id.

Скрипт умеет собирать следующие данные:

ID
Имя
Фамилия
Пол
Дата рождения
Город рождения
Религиозные взгляды
Политические взгляды
Семейное положение
Мобильный телефон
Домашний телефон
ICQ
web-сайт
деятельность
ВУЗы
школы
лицеи
гимназии
текущий ВУЗ
интересы
любимая музыка
любимые фильмы
любимые TV-шоу
любимые книги
любимые игры
любимые цитаты
"обо мне"

Из всего этого можно выбрать, что нужно конкретно.

Комплекс состоит из следующих файлов:

setup.php - инсталлятор, его необходимо запустить в первую очередь
index.php - сам граббер
viewer.php - позволяет сделать выборку ID из базы по различным критериям
viewid.php - вызывается из viewer.php - просмотр данных о человеке с заданным ID


Требования для работы скрипта:

PHP с поддержкой fsockopen и set_time_limit(0); ignore_user_abort - опционально
MySQL 4.1 и выше
Несколько десятков аккаунтов вконтакте с рейтингом больше 30%


Скачать:
http://stream.ifolder.ru/6823952
http://dump.ru/file_catalog/384800.aspx

Пароль на архив - antichat.

[Хозяин]

ну че я могу сказать, молодец)

[MaTpOc]

:( Как этим пользоваться???

[d_x]

Залить на хост с поддержкой того, что написано в описании (можно и с локалхоста), запустить setup.php, чтобы создать необходимую таблицу в БД, а затем:
index.php - сбор анкет (в нём всё написано)
viewer.php - выборка id из собранного

[d_x]

Добавил функцию выбора. Теперь можно выбрать, что конкретно нужно парсить и сохранять в базу. Обновил ссылки и описание в первом посте.

[YoYo Factory]

Не хочу никого обижать, но я в последнее время заметил, что самый активный кодер на античате это d_x! молодец)

[o55rus]

d_x молодец

[Stingers]

трабла какайто. тыркаю начать и как обновляет страницу =\

[d_x]

тыркаю начать и как обновляет страницу =\
Нужно нажать "Начать" и подождать некоторое время. В браузер иногда будет выводиться информация о собранных анкетах. Вроде бы в IE 7 не выводится, пока соединение не закроется, но точно работает в Opera 9, Firefox 2, IE 6.

[Adam-B4198]

А вопрос мона?
А зачем это надо ? и для чего это может пригодиться...

[d_x]

Это может пригодится, например, для дальнейшей расылки сообщений вконтакте по заданным критериям. Вконтакте поиск ограничен первыми 500 результатами, а этот скрипт позволяет собрать гору открытых анкет и делать выборку по ним без ограничений.

[d_x]

Сделал небольшое обновление, обновил ссылки в первом посте. Иногда неправильно парсились некоторые поля (скрипт включал в них лишние пустые html-теги), теперь это пофиксено.

[Foxtrot1]

Это может пригодится, например, для дальнейшей расылки сообщений вконтакте по заданным критериям. Вконтакте поиск ограничен первыми 500 результатами, а этот скрипт позволяет собрать гору открытых анкет и делать выборку по ним без ограничений.
а рассылать чем по собранной базе этим скриптом? планируешь сделать или есть уже и я как всегда втанке?

[metaN™®]

Куда после грабба все сохраняется то? :o

[Fata1ex]

Мечта гб )

наотличненько!

[diehard]

Куда после грабба все сохраняется то? :o

В БД. Скрипт очень полезный, где-то после полумиллиона снятых id вконтакт забанил

[metaN™®]

В БД. Скрипт очень полезный, где-то после полумиллиона снятых id вконтакт забанил
Как к ней добраться скажи плз?
и как вытащить оттуда инфу эту.

[Denchis]

1. Спасибо автору за прогу,действительно вещь!
2. А может потом просто в этом топике эти базы отдельными архивами примеру выложить по таким критериям Id от и до ...
Мммм? как вариант ? =)

[Foxtrot1]

1. Спасибо автору за прогу,действительно вещь!
2. А может потом просто в этом топике эти базы отдельными архивами примеру выложить по таким критериям Id от и до ...
Мммм? как вариант ? =)
вариант заебись ))

[svesve]

распределить между участниками диапазоны и снять и будет не полная но хоть какаято база,а потом умный человек ее соберет )
я готов участвовать

[GoodGod]

интересно)
такими темпами можно собрать базу интернет пользователей россии и других стран))
на фейсбуке не пробовали?

Вылажите кто нибудь архивами, что уже накачали, чтоб не качать по 2 раза.

[Foxtrot1]

что потом делать с базой? продавать или что...

[icq shell]

;(рассылачку бы какуенибудь надо... а то собрал я базу и че дальше*

[DarkZombie]

кому продать?)) проще найти человека по фамилии в поиске ВКонтакта. Она разве что может пригодится для целевого спама, и то в далекой перспективе...

[GoodGod]

Поделитесь кто-нить базой в пм.

[vitalikis]

а нет ли возможности зделать так чтобы в грабере можно было указать не диапазон id а город?

[Lark1]

DX несомненно снова нас радует, полезная тулза, в неё бы ещё ф-ию чтобы она парсила только тех кто online )
а в Vkontakte Messenger 1.2 by DX ф-ию чтобы можно было спамить по базе id :rolleyes:

[OnArs]

А вопрос мона?
А зачем это надо ? и для чего это может пригодиться...
Было бы круто если бы умела собирать Email адреса всех пользователей вКонтакте.

А так... Ну не лишнее :)

[Chuck]

Загетить страницу и несолько регулярок...
Д_икс, не знаю.. отдельного выноса тема не заслуживает =/

[BlackSky]

а нету грабера чтобы собирал Id юзеров с группы ?

[T-Rey]

Дампом базаы поделится никто не хочет? (:

[draliokero]

Тема старая, а скрипт рабочий. Давайте БД соберем? Собрал ~400 000 из 1 000 000.
Кто за пишите в личку, а там договоримся о диапазоне сбора

[-=$MiRoN$=-]

Молодец)

[000111]

Тема старая, а скрипт рабочий. Давайте БД соберем? Собрал ~400 000 из 1 000 000.
Кто за пишите в личку, а там договоримся о диапазоне сбора

аськю скинь :)

[Tombik]

ещё актуален?
На меня ругается:

Данные введены корректно, начало логина аккаунтов...
Warning: fsockopen() [function.fsockopen]: unable to connect to tcp://vkontakte.ru:80 (Connection timed out) in /home/****/public_html/1/index.php on line 605

Warning: stream_set_timeout(): supplied argument is not a valid stream resource in /home/*****/public_html/1/index.php on line 608
Socket error: Connection timed out (110)

Warning: fsockopen() [function.fsockopen]: unable to connect to tcp://vkontakte.ru:80 (Connection timed out) in /home/*****/public_html/1/index.php on line 605

Warning: stream_set_timeout(): supplied argument is not a valid stream resource in /home/****/public_html/1/index.php on line 608
Socket error: Connection timed out (110)

[draliokero]

Tombik, у меня работает. В основном на ночь оставляю собирать.
Добавил в БД ячейку date, записываю туда дату, когда профиль был сграблен. Если много акков собирают, то банят в течение 2х, 3х дней...

[Tombik]

а чё пишет после:
Данные введены корректно, начало логина аккаунтов...

[draliokero]

Просмотрено анкет: 6000, успешно собрано: 2488. Выполнено: 5.935%
.....
Warning отключил, в БД записи заносятся.

[Tombik]

а у меня это....



Данные введены корректно, начало логина аккаунтов...
Warning: fsockopen() [function.fsockopen]: unable to connect to tcp://vkontakte.ru:80 (Connection timed out) in /home/****/public_html/1/index.php on line 605

Warning: stream_set_timeout(): supplied argument is not a valid stream resource in /home/*****/public_html/1/index.php on line 608
Socket error: Connection timed out (110)

Warning: fsockopen() [function.fsockopen]: unable to connect to tcp://vkontakte.ru:80 (Connection timed out) in /home/*****/public_html/1/index.php on line 605

Warning: stream_set_timeout(): supplied argument is not a valid stream resource in /home/****/public_html/1/index.php on line 608
Socket error: Connection timed out (110)

[draliokero]

Хостер, либо настройки сервера. На джентльмене работает

[Tombik]

с хостером всё норм и настройки норм.

[Veteriuz]

пускал на локалхосте
все замечательно:)
спасибо

[draliokero]

Как в рекламе, во всех проснулся скряга. Вместе не дано собирать? Стучите в асю 8//505//3//50

[MatriX30000]

а киньте в личку плз 10 аккаунтов

[MatriX30000]

Warning: set_time_limit() has been disabled for security reasons in /home/********/public_html/grab/index.php on line 3
Данные введены корректно, начало логина аккаунтов...
что это такое и из за чего?

[Sharky]

Warning: set_time_limit() has been disabled for security reasons in /home/********/public_html/grab/index.php on line 3
Данные введены корректно, начало логина аккаунтов...
что это такое и из за чего?
меняй хостинг

[Veteriuz]

поля:
Интересы:
Любимая музыка:
Любимые фильмы:
Любимые TV-шоу:
Любимые книги:
Любимые игры:
не записывает, во всяком случае если у пользователя написано несколько слов через запятую.

поля:
Любимые цитаты:
"О себе":
записал, даже очень большие.

я один такой, или нет?)




UPD:
пробовал на freehostia.com
установил, запустил, но получил следующее:
Socket error: Permission denied (13)

[Eх3m]

Скрипт уже не пашет?
виснет на
Данные введены корректно, начало логина аккаунтов...

[b3]

Система авторизации за это время изменилась несколько раз, археолог =) Поэтому скрипт неробит.

[Deathdreams]

b3 Переписать систему авторизации дело десяти минут.

[Eх3m]

и кто подправит скрипт? =)

[Deathdreams]

и кто подправит скрипт? =)
За тебя никто делать не собирается.
Возьми сам да подправь.