Форум АНТИЧАТ - Ucoz Grabber(Full FAQ)

Форум АНТИЧАТ (https://forum.antichat.xyz/index.php)

- Статьи (https://forum.antichat.xyz/forumdisplay.php?f=119)

- - Ucoz Grabber(Full FAQ) (https://forum.antichat.xyz/showthread.php?t=127467)

Ucoz Grabber(Full FAQ)

[Вступление]

Вы наверно много раз видели большие варезники, на движке DLE и завидывали, и у всех появлялись мимолетные хотения сделать такоеже чудо.
Мысли о том,что и мой проэкт когда-нибудь будет большим.Регаете акк на укозе и начинаете заполнять.Но после 1 недели заполнения,и когда видешь ,что ни народа, ни помощи нет,то мысли пропадают...И проект остается сам по себе..Потом его удаляет администрация...

Такое бывало со всеми.....
Но теперь есть способ заполнять свой портал на укозе больше 10000 новостями в СУТКИ!!!

[Исполнение]

Регаем Аккуант на www.ucoz.ru ,создаем сайт,настраеваем дизайн и т.д(по вашему выбору)
1.Единственно ,что важно,так это чтобы был модуль новостей.
2.Что бы у вас на портале были ЛОКАЛЬНЫЕ ПОЛЬЗОВАТЕЛИ ,а не пользователи общей систему UNET.COM .
3.Создаем нужные категории в модуле НОВОСТИ.
4.Нужен нормальный хостинг с поддержкой php, платный или FREE это уже ваше дело
5.Качаем Архив граббера (Аттач вконце темы),Настраеваем файл конфига:

PHP код:


		
			
/** Сайт на укозе */

$_cfg['ucoz']['site'] = 'forum.ucoz.ru'; // [Тут свой сайт на укозе пишите,вначале без http://



/** Логин (администатора/модератора/репортера) */

$_cfg['ucoz']['login'] = 'admin'; // Ваш логин на вашем портале

 

/** Пароль */

$_cfg['ucoz']['password'] = 'qwerty'; //Ваш пароль на вашем портале

+ Если на варезнике (на движке dle,с которого будете грабить ссылки гостям невидны,то регаемся и смотрим конфиг дальше:
Должно быть

/** Включить авторизацию? */

PHP код:


		
			
$_cfg['grabber']['auth'] = TRUE

/** Ваш Логин на том варезнике где будете грабить */

$_cfg['grabber']['login'] = 'grab'; 



/** Ваш пароль на том варезнике где будете грабить  */

$_cfg['grabber']['password'] = 'grab';

6.Сохраняем,закидываем на фтп,переходить по адресу,вводим адрес варезника с которого будем грабить в формате http://trinke.net/

появятся новости, там нужно будет выбрать котегорию,если там будет знак вопроса и ничего больше,то возвращаемся назад и жмем очистить кеш.
Теперь все появилось грабим!!!

[Примечания]

*Если вы допустим хотите грабить все в 1 категорию,то выставляем категорию только у первой новости в граббере,остальные пойдут тудаже.....

* Скачать[/COLOR]
* Статья написана для antichat.ru

С уважением ReduKToR

плз перезалейте:(

http://grab.lavrik.org/grabber.rar

а можно, чтобы добавлялось не в новости на юкоза (news) а файлы (load)?

в файле ucoz надо изменить это:
"GET /news/0-0-0-0-1 HTTP/1.0\r\n" .
на
"GET /load/0-0-0-0-1 HTTP/1.0\r\n" .

и

"POST /news/ HTTP/1.0\r\n" .
на
"POST /load/ HTTP/1.0\r\n" .

и
"Referer: http://{$this->config['site']}/news/0-0-0-0-1\r\n" .
на
"Referer: http://{$this->config['site']}/load/0-0-0-0-1\r\n" .
Верно?

2clin
нет. дбавляются только новости, как бы ты не редактировал скрипт (с) какой-то форум, где автор этого скрипта на вопросы отвечал.

Цитата:

/** Включить авторизацию? */
$_cfg['grabber']['auth'] = FALSE;

/** Логин */
$_cfg['grabber']['login'] = 'grab';

/** Пароль */
$_cfg['grabber']['password'] = 'grab';

Это не авторизация на варезнике, а авторизация в граббере, если поставить true, то при заходе на страницу граббера будет просить логин и пароль.

Как бы форум украсть....

Столкнулся с проблемой, нужно постоянно перечеслять одно и тоже ? то есть страницу и выбирать категорию...или можно чтоб сразу всё постилось?

HostLand.ru
или ставь DENWER и не парь себе мозг)

и скиньте ещё сам граббер))

До! Скиньте пожалуйста граббер :O

Пошарился в тырнете, нашол, если кому-то надо http://steam-games.org.ua/grabber.rar

Столкнулся с проблемой, нужно постоянно перечеслять одно и тоже ? то есть страницу и выбирать категорию...или можно чтоб сразу всё постилось?
то есть, есть 1 катгория которая выбирает все новости но только 1 странице)

RexTiam, ты какой хостинг юзаеш? А то у меня ничего не получается, юзаю бесплатный на 2x4.ru, при этом когда нажимаю enter, пишет "ошибка" :S

я юзаю DENWER =)

Как бы форум украсть....[2]

постоянно одно и то же граббит

а)на сайте с которого граббишь - нет обновлений
б)перелистывай страницы

ReduKToR, ситуация такая:

Граблю http://блабла.ру/cods/page/9/
http://блабла.ру/cods/page/10/
http://блабла.ру/cods/page/11/
http://блабла.ру/cods/page/13/

и постоянно он новости одни и те же вставляет в перемешку с новыми. Пробывал на разных сайтах резултат один.
Прошу помочь.

Подскажите бесплатный хостинг для граббера

Цитата:

Сообщение от Lavrik (Сообщение 1151726)

Описание:
Универсальный граббер с DLE сайтов на uCoz (модуль новости)
Краткое инфо по пользованию граббера:
1. Требования к хостингу

Версия PHP >= 5;
Должна присутствовать библиотека iconv;
Хостинг должен быть с поддержкой сокетов.

2. Установка
1) Залейте содержимое скрипта на хостинг.
2) Установите на директорию cache права на запись(chmod 777).
3. Настройка
Откройте файл config.php
Впишите ваш домен на укозе:

Код:

$_cfg['ucoz']['site'] = 'www.ru';

Установите логин администатора/модератора/репортера и его пароль:

Код:

$_cfg['ucoz']['login'] = 'lavrik';

$_cfg['ucoz']['password'] = '785fgsd24asd';

3. Как пользоваться?
Зайдите через браузер http://your_site.ru/grabber_path/
В поле about:blank впишите адрес DLE сайта с которого будите граббить и жмите энтер
В новой версии реализовано:

Возможность использовать синонимайзер
Возможность создавать правила для граббинга с любых сайтов(подобных DLE)

Исправленно:

Ставить ссылки в теги <noindex></noindex> $_cfg['grabber']['savecontents'] = TRUE; // TRUE - вкл. FALSE - выкл.
Возможность создавать правила для граббинга с любых сайтов(подобных DLE)

Как пропускать содержимое новостей через синонимайзер:
ГЛАВНОЕ: для того чтоб вы могли использовать данную опцию у вас должен быть синонимайзер! Я рекомендую SmartRewriter
1) Установите в конфиге

Код:

$_cfg['grabber']['savecontents'] = FALSE;

на

Код:

$_cfg['grabber']['savecontents'] = TRUE;

2) Установите на директорию contents права на запись(chmod 777)
3) Добавляйте новости как раньше они появятся в папке contents (!! кодировка файлов будет в UTF-8 !!)
4) Пропустите содержимое директории contents через синонимайзер
5) Зайдите через браузер в http://your_site.ru/grabber_path/ на главной странице будет ссылка Залить контент нажмите ее. И ожидайте пока контент будет заливается
Как создавать правила для граббинга с любых сайтов:
1) Откройте файл mysites.txt
2) korrespondent.net меняете на сайт который будите граббить
3) Заходите на главную страницу нажимаете просмотр HTML кода ищите HTML фрагмент который повторяется
допустим это <div id='news-id и его закрывающий элемент допустим это </td></tr>
Между ними поставьте (.*)
Получится <div id='news-id(.*)</td></tr>
4) [title], [small], [fulllink], [full] - работает по тому же принципу что и [style]
5) [qpage] Фрагмет HTML кода со страницами
Ищет последнюю страницу страницу автоматически
6) [page] - url формат страниц
Например, есть ссылка - http://0day.kiev.ua/modules.php?name=News&pagenum=2
Формат [page] Будет такой http://0day.kiev.ua/modules.php?name=News&pagenum=(.*)
7) Список функций и их предназначение:
@striptags - Ф-ция удаляет теги
@clean - Ф-ция удаляет лишние пробелы, табуляции и тд.
@htmltobb - Ф-ция преобразует HTML код в BB коды
@rm(value) - Ф-ция удаляет содержимое value с текста (например ...)
Описание функций: @a, @a.ТЕГ, @a(текст)б @restart и @emptyhtml
Допустим вам надо поставить имя автора в начале текста или в конце
Например:
<td>Автор: Vasya</td></tr><tr><td><div id='news-2412'>Новость: текст текст текст</div>
То для того чтоб поставить автора в начало необходимо выполнить такие команды
[full]
@a([b ]Автор:[/b ])
Автор: (.*)</td>
@a
@restart
id='news-(.*)</div>
'>Новость: (.*)
@a.center
@emptyhtml
Ф-ция @a - выполняет добавление содержимого в поток
Ф-ция @a.center - выполнит добавление в поток + содержимое будет в тегах Ф-ция @restart - загрузит нетронутый HTML код ( после выполнения команды Автор: (.*) текст для обработки будет Vasya для того чтоб он обрел первичный вид:

Код:

<td>Автор: Vasya</td></tr><tr><td><div id='news-2412'>Новость: текст текст текст</div>

надо выполнить команду @restart )
Ф-ция @emptyhtml - в конце обработки сценария [small], [full], [title] обработанный текст автоматически добавляется в поток для того чтоб этого не случилось :), используйте данную функцию
Если сайт в кодировке UTF-8 то следует использовать функцию @utf
8) Ну это, пожалуй и все :) запускайте браузер вводите http://your_site.ru/grabber_path/ и начинайте граббить сайт
Скачать

Всё супер, но проблема в том, что на версиях dle 8.2, 8.3 нет грабба. Хелп.

подскажите пожалуйста... а если у меня картинку(скриншот) надо вписывать в отдельную строку то можно настроить граббер чтобы ссылка на имэйдж вставлялась в отдельное поле???

SIEG_KLAS,да...смотри сорц скрипта...и вставляй определенный тег в то место,которое отвечает за оторажение всех тегов в окне граббера

все отлично работает, спасибо :)
подскажите пару DLE сайтов с нормальными новостями :)

Нормально выполнено пользуюсь уже как 3 месяца.

Грабит этот грабер контент под сайты «фильмы онлайн»?

Проблема с категориями, помогите решить. Очистка кеша не помогло.:(

А можно как-нибудь настроить или поправить этот граббер, чтоб я ему указал категорию... допустим http://music.ru/rap/ и он всю категорию грабит, начиная с последней страницы.
Или хотя бы чтоб указал последнюю страницу... допустим http://music.ru/rap/page/98/
и чтоб он грабил 98-ую страницу, потом 97-ую, и так по порядку до первой.
Помогите, в долгу не останусь.

Оп, на нулледе мод нарыл, может пригодится кому-нибудь:

Цитата:

ТС вродебы не запрещал вылаживать моды. Вот мой мод старой версии, полностью АВТОМАТИЧЕСКИЙ.

Скачать: http://depositfiles.com/files/8m19j1t7e
Запускаем грабер, и переходим вручную на 2-ю страницу. Всё, дальше автоматом будет грабить.

Для того чтобы он резал ссылки (просто текстом делал) в файле datalife.php
разкометируем:

PHP код:


		
			
$html = preg_replace( "#<a.*?href[=]?[='\"](\S+?)['\" >].*?>(.*?)<\\/a>#is",    "\\1\\2",  $html );

и закоментируем:

PHP код:


		
			
$html = preg_replace( "#<a.*?href[=]?[='\"](\S+?)['\" >].*?>(.*?)<\\/a>#is",    "<noindex>[url=\\1]\\2[/url]</noindex>",  $html );

Для того чтобы грабер грабил не каждую страницу, а через несколько в файле func.js
разкоментируем:

PHP код:


		
			
location.href=qwer.replace(arrq[1],ert+Math.floor(Math.random()*5) + 1);

и закоментируем:

PHP код:


		
			
location.href=qwer.replace(arrq[1],ert + 1);

[c] Nevep

Но, это все равно не то :( он грабит все подряд и все в одну категорию.
Кто крон может написать? Или помогите мне, написать его :rolleyes:
---
спасибо, уже сам все написал :)

Хелп, дайте версию которая работает, у меня грабит но категории почему то на сайте юкоза выбрать не могу. Подскажите дельным советом, кэш чистил, в конфиге ввожу сайт, к нему лог и пасс, сам заходил, всё верное.
Хелп плз

Грабет только с дле? Или с любого движка?

Цитата:

Сообщение от MemorieS

Грабет только с дле? Или с любого движка?

Только DLE и то не все Версии...

Интирестно на каком движке стоит сайт proplay.com ?

Граббер уже не на столько актуален, так как Яша сейчас серьезно борется с ворованным контентом. Даже используя синонимайзер - вероятность бана или попасть под фильтр очень велика.
Хотя штука весь интересная, раз создавал сайт чисто чтобы изучить его. :)

Мдааа......все равно на укозе ничего нормального замутить не получится))

Не советую пользоваться грабберами на юкозе, в крайнем случае не так жадно постить,потому как сам заполнял граббером. Ну примерно новости 44 добавил. Потом зашел на сайт, и написано типа банан за автопостинг.

Да и вообще сейчас многие нормальные сайты на укозе банят, спустя месяцы после автопостинга, не смотря на то что уже наполняются не на авто.

На укозе с недавнего времени запрещено добавлять более 400 новостей в сутки и добавлять 1 новость чаще 20 секунд.

Молодцы Сыль битая только

теперь локальные пользователи доступны только для премиумов.
граббер теряет свою актуальность