Antichat снова доступен.
Форум Antichat (Античат) возвращается и снова открыт для пользователей.
Здесь обсуждаются безопасность, программирование, технологии и многое другое.
Сообщество снова собирается вместе.
Новый адрес: forum.antichat.xyz
 |
17.01.2010, 19:43
|
|
Участник форума
Регистрация: 26.07.2008
Сообщений: 267
Провел на форуме:
1343031
Репутация:
184
|
|
Парсер гугла.
Нужен сабж, вроде такого:
http://goohackle.com/scripts/google_parser.php
Желательно, чтобы тоже выдавал капчу, когда ее сам гугл просит, а я ее вводил. Нужно поставить на сервер. Бывает такое?
Последний раз редактировалось budden; 17.01.2010 в 19:53..
|
|
|
17.01.2010, 19:53
|
|
Участник форума
Регистрация: 03.09.2009
Сообщений: 179
Провел на форуме:
1014907
Репутация:
90
|
|
PHP код:
<?php
/*
GET параметры:
q = запрос
c = кол-во страниц для парсинга
*/
$q = '';
if(isset($_GET['q'])) $q = $_GET['q'];
$been = '';
$colvo = 17;
if(isset($_GET['c'])) $colvo = $_GET['c'];
for($i=0; $i < $colvo*10; $i+=10)
{
$url = 'http://www.google.ru/search?hl=ru&q='.urlencode($q).'&start='.($i);
$html = file_get_contents($url);
preg_match_all("/<[Aa][ \r\n\t]{1}[^>]*[Hh][Rr][Ee][Ff][^=]*=[ '\"\n\r\t]*([^ \"'>\r\n\t#]+)[^>]*>/",$html,$a);
for($x=0; $x<sizeof($a[1]); $x++)
{
if(strcmp(substr($a[1][$x], 0, 4), 'http') == 0 &&
strpos($a[1][$x], '74.125.77.132')===false && strpos($a[1][$x], 'google')===false && strpos($a[1][$x], 'youtube')===false)
{
$str = urldecode($a[1][$x]);
$str = substr($str, 7);
$end = strpos($str, '/');
if($end > 0)
$str = substr($str, 0, $end);
if(strpos($been, str_replace('www.','',$str)) === false)
{
$been .= $str . '+';
echo $str.'<br>';
}
}
}
Sleep(1);
}
?>
|
|
|
|
17.01.2010, 20:04
|
|
Участник форума
Регистрация: 26.10.2007
Сообщений: 283
Провел на форуме:
2605910
Репутация:
212
|
|
гугль не всегда надо парсить кстати ))) чтобы получить список ссылок достаточно грамотно попросить |
|
|
|
17.01.2010, 21:47
|
|
Участник форума
Регистрация: 15.01.2009
Сообщений: 158
Провел на форуме:
469704
Репутация:
26
|
|
гугль не всегда надо парсить кстати ))) чтобы получить список ссылок достаточно грамотно попросить
С таким же успехом можно нажать ctrl+j в опере. А если нужно выпарсить ссылок по ста ключам, так и будешь нажимать на гор.клав.?
|
|
|
|
17.01.2010, 22:55
|
|
Он хакер.
Регистрация: 01.11.2008
Сообщений: 1,756
Провел на форуме:
6462214
Репутация:
3171
|
|
Сообщение от Komyak
С таким же успехом можно нажать ctrl+j в опере. А если нужно выпарсить ссылок по ста ключам, так и будешь нажимать на гор.клав.?
При чем тут клавиши? Тебе дали ссылку,с нужными ключами для гугла,достаточно лиш парсить результаты.С этими ключами,он просто возвращает массив ссылок,без тайтлов,что намного упрощает парсинг.
|
|
|
|
19.01.2010, 17:14
|
|
Участник форума
Регистрация: 26.07.2008
Сообщений: 267
Провел на форуме:
1343031
Репутация:
184
|
|
Всем спасибо, особенно devton, так можно и локально попарсить.
|
|
|
|
20.01.2010, 03:11
|
|
Участник форума
Регистрация: 04.05.2006
Сообщений: 161
Провел на форуме:
389768
Репутация:
158
|
|
PHP код:
<?php
$query = "Macoley";
$url = "http://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=".urlencode($query);
$body = file_get_contents($url);
echo $body;
$json = json_decode($body);
foreach ($json->responseData->results as $resultjson) {
$result_google['title']= $resultjson->title;
$result_google['url']= $resultjson->url;
$result_google['content'] = $resultjson->content;
}
print_r($result_google);
?>
Тут нету ограничений, следовательно не будет каптчи. |
|
|
|
27.01.2010, 23:27
|
|
Постоянный
Регистрация: 06.01.2010
Сообщений: 785
Провел на форуме:
1777031
Репутация:
256
|
|
Гы... Популярная тема на ачате.... В последнее время таких парсеров видел минимум 5.
|
|
|
|
30.01.2010, 12:07
|
|
Участник форума
Регистрация: 01.01.2009
Сообщений: 138
Провел на форуме:
817404
Репутация:
82
|
|
Сообщение от CyberHunter
Гы... Популярная тема на ачате.... В последнее время таких парсеров видел минимум 5.
Согласен. Мне самому нужн был 
|
|
|
|
|
|
|
Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
|
|
|
|
Похожие темы
Линейный вид
