Просмотр полной версии : Переборщик +вывод в файл
Klaus Doring
25.09.2007, 15:45
Есть ссылка mysyte.com/1.html
Нужно вывести содержимое страниц, для каждой отдельный файл в которых есть что нибудь, то есть не выводится слово error
есть 999999 файлов. Можно как то это сделать? Может есть какой нибудь уже готовый скрипт на Перле например?
demonoid
25.09.2007, 19:10
надеюсь я правильно понял
#!/usr/bin/perl -w
use LWP::Simple;
use strict;
use warnings;
use constant URL => 'http://forum.antichat.ru/memberlist.php?s=&do=getall&page={PAGES}&sort=reputation&order=DESC&pp=50';
use constant MAX_PAGE => '4';
use constant FORMAT => 'html';
# Опции:
# ~~~~~~
# Отсортировать результат поиска по: Репутация | по убываиню
# Число пользователей на страницу: 50
my $content = undef;
my $resp = undef;
my $url = URL;
for( 0..MAX_PAGE )
{
$url =~ s/{PAGES}/$_/e;
print "[$_] GET $url \n";
$content = get $url || exit printf "ERROR : get URL : %s \n",$url;
open $resp, ">", "$_.".FORMAT;
print $resp $content;
close( $resp );
$url = URL;
}
Klaus Doring
26.09.2007, 14:15
Что то не работает. Вроде задал параметр, который увеличиваться должен. Дело в том что там не html! И еще вывод в файл должен быть содержимого страниц.
demonoid
26.09.2007, 16:38
Напиши на конкретном примере, что не работает
use constant FORMAT => 'html'; #Это формат, в который будут сохраняться страницы
И еще вывод в файл должен быть содержимого страниц.
Так и есть :\\
Klaus Doring (member.php?u=39289), хз, мб я глючу, но вот твой первый пост меня убил. Очень похоже на бессмысленный набор слов
Напиши нормально что тебе надо
Klaus Doring
26.09.2007, 17:11
Ммм... как сделать. Отправляешь запрос, получаешь содержимое страницы, анализируешь его, сохраняешь если надо. Повторяешь 99999 раз.
Или на другом языке... :)
Цель:
Можно задавать адрес программе
Можно задавать увеличиваемый параметр в адресе
Можно фильтровать по слову, чтобы при Error404 не сохранялась страничка на диск
Можно сохранить все страницы от 1-99999.html
vBulletin® v3.8.14, Copyright ©2000-2026, vBulletin Solutions, Inc. Перевод: zCarot