Форум АНТИЧАТ

Форум АНТИЧАТ (https://forum.antichat.xyz/index.php)
-   PHP, PERL, MySQL, JavaScript (https://forum.antichat.xyz/forumdisplay.php?f=37)
-   -   Нужен php grabber (https://forum.antichat.xyz/showthread.php?t=59240)

Ali_MiX 19.01.2008 20:58

Нужен php grabber
 
Доброго времени суток.
У меня такая ботва, короче нужен скрипт на php, который грабит новости по rss или с сайта со всем что там есть, а потом заносит это всё в субд.
Кто знает, а лучше где ещё и достать можно, отписывайтесь.

mr.The 19.01.2008 22:44

Цитата:

грабит новости по rss
ну таких полно.... гугл в руки
Цитата:

или с сайта со всем что там есть, а потом заносит это всё в субд.
юзай сокеты и регулярные выражения..

Oarsman 19.01.2008 22:46

как-то поннится на джумле(cms Joomla) юзал NewsGrabber , правда варезный кажись и возни было много -и потом хост накрылся...)))

Ali_MiX 19.01.2008 22:49

Цитата:

Сообщение от Oarsman
как-то поннится на джумле(cms Joomla) юзал NewsGrabber , правда варезный кажись и возни было много -и потом хост накрылся...)))

я про это слышал даж скрипт был, потом что то удалил

Jes 19.01.2008 22:51

Цитата:

Сообщение от mr.The
юзай сокеты

да можно обычный fopen ...

я пхп так по наслышке ... что-то вроде

$handle = fopen("$url", "r");
while (!feof($handle)) {
$buffer = fgets($handle, 4096);
$PageData = "$PageData$buffer"; # или $PageData.$buffer
}

и парсь $PageData...

Macro 19.01.2008 22:53

Ali_MiX, тут все зависит от сайта, с которого ты будешь новости воровать, а именно, от его скриптов и их настройки. Почти в каждом случае может возникнуть необходимость писать другой граббер.

Jes, гораздо проще

$text=file_get_contents('http://site.ru/news/');

Ali_MiX 19.01.2008 23:00

нужно что то не 1 файл php был а что то типа NewsGrabber
Система короче целая
потом прикрутить всё это к dle

Oarsman 19.01.2008 23:04

но в итоге я понял, что воровать чужой контент неинтересно, да и посковики это не любят(для seo минус большой вообщем).Вот и изучаю php)))

dafaceR28 19.01.2008 23:15

А понт копировать сайты ?
Тогда будет не интересно, все сайты зеркальные с одними и теми же новостями.
Разве трудно написать чтото свое ?
Или лень?
Вы лентяи мало того что используете чужие Cms, так вы еще и хотите чтоб вам написали грабер (а потом еще прикрутили к Cms) чтоб дома сидеть на диване а там все само работает, и получать за это $$$ (вот народ пошол)
ИМХО таким как ты помогать не стоит, может сам пальцем по шевелишь немного

Ali_MiX 19.01.2008 23:18

Цитата:

Сообщение от dafaceR28
А понт копировать сайты ?
Тогда будет не интересно, все сайты зеркальные с одними и теми же новостями.
Разве трудно написать чтото свое ?
Или лень?
Вы лентяи мало того что используете чужие Cms, так вы еще и хотите чтоб вам написали грабер (а потом еще прикрутили к Cms) чтоб дома сидеть на диване а там все само работает, и получать за это $$$ (вот народ пошол)
ИМХО таким как ты помогать не стоит, может сам пальцем по шевелишь немного

1. Я так понял ты сильно умный, я дополнительной инфы не давал, что то типа зеркальные не зеркальные, тебя это не должно волновать. прикручивать я тоже не просил.
2. Я не лентяй.
3. Не знаешь что ответить - молчи.

Oarsman 19.01.2008 23:39

Цитата:

Сообщение от Ali_MiX
1. Я так понял ты сильно умный, я дополнительной инфы не давал, что то типа зеркальные не зеркальные, тебя это не должно волновать. прикручивать я тоже не просил.
2. Я не лентяй.
3. Не знаешь что ответить - молчи.

да, вот тебе ссылочка , откуда можно скачать грабберы... :)
Если поставишь, скинь ссылку на проект, посмотрим :)

Underwit 19.01.2008 23:40

Вырезать из страницы статью целиком тяжело. Можно просто найти Rss каналы в которых
статья показываеться полностью и граббить её. Для этого можно воспользоваться расширением Pear, там есть класс для работы с Rss и Xml.
А вот уникальности статье (новости) можно придать с помощью синонимайзера.

Ali_MiX 19.01.2008 23:45

задумка в том что бы сливать новости, а не всё что там.
Хотя и статью слить целиком бы ло бы неплохо.
ИМХО вот проект www.mix-portal.info ещё всё делается

Jes 20.01.2008 00:03

http://www.mix-portal.info/2008/01/1...s-grabber.html :/ ... а в чем трабл то ?

Ali_MiX 20.01.2008 00:05

Цитата:

Сообщение от Jes
http://www.mix-portal.info/2008/01/1...s-grabber.html :/ ... а в чем трабл то ?

не пашет

dafaceR28 20.01.2008 00:09

плагиатор ;)

Ali_MiX 20.01.2008 00:10

Цитата:

Сообщение от dafaceR28
плагиатор ;)

>Новичок
тут ты нее прав

D0S 20.01.2008 03:22

Цитата:

Сообщение от Ali_MiX
задумка в том что бы сливать новости, а не всё что там.
Хотя и статью слить целиком бы ло бы неплохо.
ИМХО вот проект www.mix-portal.info ещё всё делается

да было бы неплохо грабить по {short-story}{full-story}, ток хз как это реализовать, голову сломаешь нах :o

iron-viper 20.01.2008 13:50

Для DLE есть грабер. Это довольно не плохой разработанный модуль, который встраивается в админку и ты с ним работаешь как с нормальным блоком. Вот можешь почитать __hxxp://4dle.ru/2006/10/28/print:page,1,rss_grabber_2_2.html

Его продают. Но так как нам всегда хочется халявы, то конечно же есть ломаные хаки. Например я качал на этом сайте Сайт
, но на момент написания вот этой месаги, сайт лежал на лопатках. Там через поиск найди или в разделах, не помню уже .

Если же все таки не найдешь пиши в сообщение выложу куда нить его.

Вообще этот грабер хороший но он немного подгружет базу и для его работы нужен хостинг с поддержкой сокетов и "iconv" . Без первого работать не будет, без второго будет если подправить код. Но криво работать будет.

Всем спасибо за внимание. Сори если что не так.

Ali_MiX 30.01.2008 18:10

Цитата:

Сообщение от iron-viper
Для DLE есть грабер. Это довольно не плохой разработанный модуль, который встраивается в админку и ты с ним работаешь как с нормальным блоком. Вот можешь почитать __hxxp://4dle.ru/2006/10/28/print:page,1,rss_grabber_2_2.html

Его продают. Но так как нам всегда хочется халявы, то конечно же есть ломаные хаки. Например я качал на этом сайте Сайт
, но на момент написания вот этой месаги, сайт лежал на лопатках. Там через поиск найди или в разделах, не помню уже .

Если же все таки не найдешь пиши в сообщение выложу куда нить его.

Вообще этот грабер хороший но он немного подгружет базу и для его работы нужен хостинг с поддержкой сокетов и "iconv" . Без первого работать не будет, без второго будет если подправить код. Но криво работать будет.

Всем спасибо за внимание. Сори если что не так.

Спасиб)

Satman 31.01.2008 11:31

Видел такую фишку в DLE 6.5 зануленной M.I.D-Team.Там в админке есть
Цитата:

RSS импорт новостей
Импортирование новостей в базу данных с других сайтов, используя RSS каналы этих сайтов
Как раз то,что тебе нужно.


Время: 20:04