PDA

Просмотр полной версии : Ucoz Grabber(Full FAQ)


ReduKToR
29.06.2009, 14:03
[Вступление]
Вы наверно много раз видели большие варезники, на движке DLE и завидывали, и у всех появлялись мимолетные хотения сделать такоеже чудо.
Мысли о том,что и мой проэкт когда-нибудь будет большим.Регаете акк на укозе и начинаете заполнять.Но после 1 недели заполнения,и когда видешь ,что ни народа, ни помощи нет,то мысли пропадают...И проект остается сам по себе..Потом его удаляет администрация...

Такое бывало со всеми.....
Но теперь есть способ заполнять свой портал на укозе больше 10000 новостями в СУТКИ!!!
[Исполнение]
Регаем Аккуант на www.ucoz.ru ,создаем сайт,настраеваем дизайн и т.д(по вашему выбору)
1.Единственно ,что важно,так это чтобы был модуль новостей.
2.Что бы у вас на портале были ЛОКАЛЬНЫЕ ПОЛЬЗОВАТЕЛИ ,а не пользователи общей систему UNET.COM .
3.Создаем нужные категории в модуле НОВОСТИ.
4.Нужен нормальный хостинг с поддержкой php, платный или FREE это уже ваше дело
5.Качаем Архив граббера (Аттач вконце темы),Настраеваем файл конфига:

/** Сайт на укозе */
$_cfg['ucoz']['site'] = 'forum.ucoz.ru'; // [Тут свой сайт на укозе пишите,вначале без http://

/** Логин (администатора/модератора/репортера) */
$_cfg['ucoz']['login'] = 'admin'; // Ваш логин на вашем портале

/** Пароль */
$_cfg['ucoz']['password'] = 'qwerty'; //Ваш пароль на вашем портале




+ Если на варезнике (на движке dle,с которого будете грабить ссылки гостям невидны,то регаемся и смотрим конфиг дальше:
Должно быть


/** Включить авторизацию? */
$_cfg['grabber']['auth'] = TRUE
/** Ваш Логин на том варезнике где будете грабить */
$_cfg['grabber']['login'] = 'grab';

/** Ваш пароль на том варезнике где будете грабить */
$_cfg['grabber']['password'] = 'grab';


6.Сохраняем,закидываем на фтп,переходить по адресу,вводим адрес варезника с которого будем грабить в формате http://trinke.net/

появятся новости, там нужно будет выбрать котегорию,если там будет знак вопроса и ничего больше,то возвращаемся назад и жмем очистить кеш.
Теперь все появилось грабим!!!

[Примечания]

*Если вы допустим хотите грабить все в 1 категорию,то выставляем категорию только у первой новости в граббере,остальные пойдут тудаже.....

* Скачать[/COLOR] (http://depositfiles.com/files/9vasuxuqc)
* Статья написана для antichat.ru

С уважением ReduKToR

LanuX
05.07.2009, 21:05
плз перезалейте:(

Lavrik
11.07.2009, 07:28
http://grab.lavrik.org/grabber.rar

clin
11.07.2009, 12:35
а можно, чтобы добавлялось не в новости на юкоза (news) а файлы (load)?


в файле ucoz надо изменить это:
"GET /news/0-0-0-0-1 HTTP/1.0\r\n" .
на
"GET /load/0-0-0-0-1 HTTP/1.0\r\n" .

и

"POST /news/ HTTP/1.0\r\n" .
на
"POST /load/ HTTP/1.0\r\n" .

и
"Referer: http://{$this->config['site']}/news/0-0-0-0-1\r\n" .
на
"Referer: http://{$this->config['site']}/load/0-0-0-0-1\r\n" .
Верно?

GrimmJow
19.07.2009, 23:45
2clin
нет. дбавляются только новости, как бы ты не редактировал скрипт (с) какой-то форум, где автор этого скрипта на вопросы отвечал.

Абибошенный
22.07.2009, 16:55
/** Включить авторизацию? */
$_cfg['grabber']['auth'] = FALSE;

/** Логин */
$_cfg['grabber']['login'] = 'grab';

/** Пароль */
$_cfg['grabber']['password'] = 'grab';
Это не авторизация на варезнике, а авторизация в граббере, если поставить true, то при заходе на страницу граббера будет просить логин и пароль.

НTL
22.07.2009, 18:03
Как бы форум украсть....

RexTiam
07.11.2009, 01:07
Столкнулся с проблемой, нужно постоянно перечеслять одно и тоже ? то есть страницу и выбирать категорию...или можно чтоб сразу всё постилось?

RexTiam
07.11.2009, 15:40
HostLand.ru
или ставь DENWER и не парь себе мозг)

le-mon
08.11.2009, 18:23
и скиньте ещё сам граббер))

crazyserega1994
10.11.2009, 22:54
До! Скиньте пожалуйста граббер :O

crazyserega1994
10.11.2009, 23:03
Пошарился в тырнете, нашол, если кому-то надо http://steam-games.org.ua/grabber.rar

RexTiam
11.11.2009, 19:22
Столкнулся с проблемой, нужно постоянно перечеслять одно и тоже ? то есть страницу и выбирать категорию...или можно чтоб сразу всё постилось?
то есть, есть 1 катгория которая выбирает все новости но только 1 странице)

crazyserega1994
11.11.2009, 19:53
RexTiam, ты какой хостинг юзаеш? А то у меня ничего не получается, юзаю бесплатный на 2x4.ru, при этом когда нажимаю enter, пишет "ошибка" :S

RexTiam
12.11.2009, 03:26
я юзаю DENWER =)

sqk
17.11.2009, 15:43
Как бы форум украсть....[2]

le-mon
07.12.2009, 15:08
постоянно одно и то же граббит

ReduKToR
07.12.2009, 15:10
а)на сайте с которого граббишь - нет обновлений
б)перелистывай страницы

le-mon
07.12.2009, 19:07
ReduKToR, ситуация такая:

Граблю http://блабла.ру/cods/page/9/
http://блабла.ру/cods/page/10/
http://блабла.ру/cods/page/11/
http://блабла.ру/cods/page/13/

и постоянно он новости одни и те же вставляет в перемешку с новыми. Пробывал на разных сайтах резултат один.
Прошу помочь.

TreV@N
14.12.2009, 12:38
Подскажите бесплатный хостинг для граббера

le-mon
14.12.2009, 14:14
Описание:
Универсальный граббер с DLE сайтов на uCoz (модуль новости)
Краткое инфо по пользованию граббера:
1. Требования к хостингу
Версия PHP >= 5;
Должна присутствовать библиотека iconv;
Хостинг должен быть с поддержкой сокетов.
2. Установка
1) Залейте содержимое скрипта на хостинг.
2) Установите на директорию cache права на запись(chmod 777).
3. Настройка
Откройте файл config.php
Впишите ваш домен на укозе:
$_cfg['ucoz']['site'] = 'www.ru';
Установите логин администатора/модератора/репортера и его пароль:
$_cfg['ucoz']['login'] = 'lavrik';
$_cfg['ucoz']['password'] = '785fgsd24asd';
3. Как пользоваться?
Зайдите через браузер http://your_site.ru/grabber_path/
В поле about:blank впишите адрес DLE сайта с которого будите граббить и жмите энтер
В новой версии реализовано:
Возможность использовать синонимайзер
Возможность создавать правила для граббинга с любых сайтов(подобных DLE)
Исправленно:
Ставить ссылки в теги <noindex></noindex> $_cfg['grabber']['savecontents'] = TRUE; // TRUE - вкл. FALSE - выкл.
Возможность создавать правила для граббинга с любых сайтов(подобных DLE)

Как пропускать содержимое новостей через синонимайзер:
ГЛАВНОЕ: для того чтоб вы могли использовать данную опцию у вас должен быть синонимайзер! Я рекомендую SmartRewriter (http://smartbyte.org/)
1) Установите в конфиге $_cfg['grabber']['savecontents'] = FALSE; на $_cfg['grabber']['savecontents'] = TRUE;
2) Установите на директорию contents права на запись(chmod 777)
3) Добавляйте новости как раньше они появятся в папке contents (!! кодировка файлов будет в UTF-8 !!)
4) Пропустите содержимое директории contents через синонимайзер
5) Зайдите через браузер в http://your_site.ru/grabber_path/ на главной странице будет ссылка Залить контент нажмите ее. И ожидайте пока контент будет заливается
Как создавать правила для граббинга с любых сайтов:
1) Откройте файл mysites.txt
2) korrespondent.net меняете на сайт который будите граббить
3) Заходите на главную страницу нажимаете просмотр HTML кода ищите HTML фрагмент который повторяется
допустим это <div id='news-id и его закрывающий элемент допустим это </td></tr>
Между ними поставьте (.*)
Получится <div id='news-id(.*)</td></tr>
4) [title], [small], [fulllink], [full] - работает по тому же принципу что и [style]
5) [qpage] Фрагмет HTML кода со страницами
Ищет последнюю страницу страницу автоматически
6) [page] - url формат страниц
Например, есть ссылка - http://0day.kiev.ua/modules.php?name=News&pagenum=2
Формат [page] Будет такой http://0day.kiev.ua/modules.php?name=News&pagenum=(.*)
7) Список функций и их предназначение:
@striptags - Ф-ция удаляет теги
@clean - Ф-ция удаляет лишние пробелы, табуляции и тд.
@htmltobb - Ф-ция преобразует HTML код в BB коды
@rm(value) - Ф-ция удаляет содержимое value с текста (например ...)
Описание функций: @a, @a.ТЕГ, @a(текст)б @restart и @emptyhtml
Допустим вам надо поставить имя автора в начале текста или в конце
Например:
<td>Автор: Vasya</td></tr><tr><td><div id='news-2412'>Новость: текст текст текст</div>
То для того чтоб поставить автора в начало необходимо выполнить такие команды
[full]
@a(Автор:[/b ])
Автор: (.*)</td>
@a
@restart
id='news-(.*)</div>
'>Новость: (.*)
@a.center
@emptyhtml
Ф-ция @a - выполняет добавление содержимого в поток
Ф-ция @a.center - выполнит добавление в поток + содержимое будет в тегах
Ф-ция @restart - загрузит нетронутый HTML код ( после выполнения команды Автор: (.*) текст для обработки будет Vasya для того чтоб он обрел первичный вид: <td>Автор: Vasya</td></tr><tr><td><div id='news-2412'>Новость: текст текст текст</div> надо выполнить команду @restart )
Ф-ция @emptyhtml - в конце обработки сценария [small], [full], [title] обработанный текст автоматически добавляется в поток для того чтоб этого не случилось :), используйте данную функцию
Если сайт в кодировке UTF-8 то следует использовать функцию @utf
8) Ну это, пожалуй и все :) запускайте браузер вводите http://your_site.ru/grabber_path/ и начинайте граббить сайт
[B]Скачать (http://lavrik.org/mygrabber.zip)
Всё супер, но проблема в том, что на версиях dle 8.2, 8.3 нет грабба. Хелп.

SIEG_KLAS
03.01.2010, 16:32
подскажите пожалуйста... а если у меня картинку(скриншот) надо вписывать в отдельную строку то можно настроить граббер чтобы ссылка на имэйдж вставлялась в отдельное поле???

ReduKToR
03.01.2010, 21:00
SIEG_KLAS,да...смотри сорц скрипта...и вставляй определенный тег в то место,которое отвечает за оторажение всех тегов в окне граббера

nuBo
22.01.2010, 16:24
все отлично работает, спасибо :)
подскажите пару DLE сайтов с нормальными новостями :)

dark-klin
23.01.2010, 18:56
Нормально выполнено пользуюсь уже как 3 месяца.

skochwm
23.01.2010, 22:37
Грабит этот грабер контент под сайты «фильмы онлайн»?

mayak
04.02.2010, 23:43
Проблема с категориями, помогите решить. Очистка кеша не помогло.:(

sqk
16.02.2010, 13:39
А можно как-нибудь настроить или поправить этот граббер, чтоб я ему указал категорию... допустим http://music.ru/rap/ и он всю категорию грабит, начиная с последней страницы.
Или хотя бы чтоб указал последнюю страницу... допустим http://music.ru/rap/page/98/
и чтоб он грабил 98-ую страницу, потом 97-ую, и так по порядку до первой.
Помогите, в долгу не останусь.

sqk
17.02.2010, 18:45
Оп, на нулледе мод нарыл, может пригодится кому-нибудь:

ТС вродебы не запрещал вылаживать моды. Вот мой мод старой версии, полностью АВТОМАТИЧЕСКИЙ.

Скачать: http://depositfiles.com/files/8m19j1t7e
Запускаем грабер, и переходим вручную на 2-ю страницу. Всё, дальше автоматом будет грабить.

Для того чтобы он резал ссылки (просто текстом делал) в файле datalife.php
разкометируем:
$html = preg_replace( "#<a.*?href[=]?[='\"](\S+?)['\" >].*?>(.*?)<\\/a>#is", "\\1\\2", $html );
и закоментируем:
$html = preg_replace( "#<a.*?href[=]?[='\"](\S+?)['\" >].*?>(.*?)<\\/a>#is", "<noindex>\\2 (\\1)</noindex>", $html );
Для того чтобы грабер грабил не каждую страницу, а через несколько в файле func.js
разкоментируем:
location.href=qwer.replace(arrq[1],ert+Math.floor(Math.random()*5) + 1);
и закоментируем:
location.href=qwer.replace(arrq[1],ert + 1);

[c] Nevep


Но, это все равно не то :( он грабит все подряд и все в одну категорию.
Кто крон может написать? Или помогите мне, написать его :rolleyes:
---
спасибо, уже сам все написал :)

demko
18.02.2010, 01:39
Хелп, дайте версию которая работает, у меня грабит но категории почему то на сайте юкоза выбрать не могу. Подскажите дельным советом, кэш чистил, в конфиге ввожу сайт, к нему лог и пасс, сам заходил, всё верное.
Хелп плз

MemorieS
06.03.2010, 01:06
Грабет только с дле? Или с любого движка?

nuBo
06.03.2010, 01:11
Грабет только с дле? Или с любого движка?
Только DLE и то не все Версии...

MemorieS
06.03.2010, 22:18
Интирестно на каком движке стоит сайт proplay.com ?

FullBlooded
07.03.2010, 10:18
Граббер уже не на столько актуален, так как Яша сейчас серьезно борется с ворованным контентом. Даже используя синонимайзер - вероятность бана или попасть под фильтр очень велика.
Хотя штука весь интересная, раз создавал сайт чисто чтобы изучить его. :)

djazatik
12.03.2010, 11:44
Мдааа......все равно на укозе ничего нормального замутить не получится))

Voz7Var
31.03.2010, 21:32
Не советую пользоваться грабберами на юкозе, в крайнем случае не так жадно постить,потому как сам заполнял граббером. Ну примерно новости 44 добавил. Потом зашел на сайт, и написано типа банан за автопостинг.

Voz7Var
31.03.2010, 21:35
Да и вообще сейчас многие нормальные сайты на укозе банят, спустя месяцы после автопостинга, не смотря на то что уже наполняются не на авто.

regnet
31.03.2010, 22:33
На укозе с недавнего времени запрещено добавлять более 400 новостей в сутки и добавлять 1 новость чаще 20 секунд.

DdoNbAsS
10.04.2010, 18:14
Молодцы Сыль битая только

vaddd
16.04.2010, 23:42
теперь локальные пользователи доступны только для премиумов.
граббер теряет свою актуальность

ReduKToR
22.04.2010, 07:55
vaddd, можно узать и акки юнета, только нужно изменить параметр в конфиге.
DdoNbAsS, перезалил!