ANTICHAT — форум по информационной безопасности, OSINT и технологиям
ANTICHAT — русскоязычное сообщество по безопасности, OSINT и программированию.
Форум ранее работал на доменах antichat.ru, antichat.com и antichat.club,
и теперь снова доступен на новом адресе —
forum.antichat.xyz.
Форум восстановлен и продолжает развитие: доступны архивные темы, добавляются новые обсуждения и материалы.
⚠️ Старые аккаунты восстановить невозможно — необходимо зарегистрироваться заново.

05.01.2009, 15:04
|
|
Reservists Of Antichat - Level 6
Регистрация: 23.08.2007
Сообщений: 1,237
Провел на форуме: 18127311
Репутация:
1676
|
|
Код:
use LWP::Simple;
use strict;
use threads;
use threads::shared;
my $start : shared=1;
my $finish : shared=10;
my $potok=5;
my @trl;
for(0..$potok-1) {$trl[$_] = threads->create(\&pars);}
for(@trl) { $_->join; }
sub pars {
while ($start <= $finish) {
my $url = undef;
{lock($start); $url ="url/$start/"; ++$start;}
print "Search on URL: $url\n";
my $response=get $url;
}
}
|
|
|

05.01.2009, 15:31
|
|
Участник форума
Регистрация: 19.02.2008
Сообщений: 186
Провел на форуме: 584540
Репутация:
96
|
|
Теперь он очень быстро получает странички (Выводит на стдоут search on url: блаблабла
и тут начинает висеть (даже когда 5 потоков) + ничего не пишет в файл, минуты через 3 развисает и едет дальше...
Таск менеджер показывает бездействие системы 98%!!
PHP код:
my $start : shared=20;
my $finish : shared=100;
my $potok=5;
my @trl;
for(0..$potok-1) {$trl[$_] = threads->create(\&pars);}
for(@trl) { $_->join; }
sub pars {
while ($start <= $finish){
my $url=undef;
{lock($start); $url ="url/$start/"; ++$start;}
print "Search on URL: $url\n";
my $response=get $url;
my @massiv=$response=~m/регулярка/ig;
open(TEXT,">>text.txt");
foreach (@massiv) { print TEXT $_ . "\n"; }
}
}
Последний раз редактировалось $p01nt; 05.01.2009 в 16:12..
|
|
|

06.01.2009, 00:18
|
|
Участник форума
Регистрация: 19.02.2008
Сообщений: 186
Провел на форуме: 584540
Репутация:
96
|
|
С вопросом который выше - разобрался(проблема была в дедике)), но у меня такое ощущение ... то что парсер не пашет или пашет не правильно  Он качает 100 страниц, а парсит из них только 1! Потом опять 100, парсит одну.
Код выше.
|
|
|

07.01.2009, 05:57
|
|
Banned
Регистрация: 07.09.2008
Сообщений: 48
Провел на форуме: 127764
Репутация:
-1
|
|
подскажите плз где найти можно Encoding and Decoding для перла ,
Encoding and Decoding URLs via perl (including decimal to hex conversion)
описание:
http://glennf.com/writing/hexadecimal.url.encoding.html
Последний раз редактировалось or1; 07.01.2009 в 21:11..
|
|
|

07.01.2009, 12:39
|
|
Участник форума
Регистрация: 19.02.2008
Сообщений: 186
Провел на форуме: 584540
Репутация:
96
|
|
or, обусификация? О_О или регулярные выражения? что то я тебя не понял 
|
|
|

07.01.2009, 21:09
|
|
Banned
Регистрация: 07.09.2008
Сообщений: 48
Провел на форуме: 127764
Репутация:
-1
|
|
есть же вообще Encoding and Decoding URLs via perl " перла "или нет так почему такая статья существует ,прочетать можно тут и вообще не надо отвечать я сам разобрался
Encoding and Decoding URLs via perl (including decimal to hex conversion)
http://glennf.com/writing/hexadecimal.url.encoding.html
|
|
|

08.01.2009, 14:39
|
|
Участник форума
Регистрация: 19.02.2008
Сообщений: 186
Провел на форуме: 584540
Репутация:
96
|
|
Как подключить модуль к Perl не устанавливая его?
Проблема с Curl, в скрипте:
use WWW::Curl::easy;
Качаю Curl с cpan ( curl.pm) в ту же папку где скрипт и заменяю строчку
use WWW::Curl::easy;
на
use Curl;
но выдает ашипку:
Can't locate loadable object for module WWW::Curl in @INC (@INC contains: /etc/perl /usr/local/lib/perl/5.10.0 /usr/local/share/perl/5.10.0 /usr/lib/perl5 /usr/share/perl5 /usr/lib/perl/5.10 /usr/share/perl/5.10 /usr/local/lib/site_perl .) at Curl.pm line 12
BEGIN failed--compilation aborted at Curl.pm line 12.
Compilation failed in require at Client.pm line 4.
BEGIN failed--compilation aborted at Client.pm line 4.
Compilation failed in require at xxx.pl line 9.
BEGIN failed--compilation aborted at xxx.pl line 9.
Как пропавить?
P.S. устанавливать модуль нельзя 
Последний раз редактировалось $p01nt; 08.01.2009 в 14:41..
|
|
|

08.01.2009, 15:26
|
|
Reservists Of Antichat - Level 6
Регистрация: 23.08.2007
Сообщений: 1,237
Провел на форуме: 18127311
Репутация:
1676
|
|
Качаю Curl с cpan ( curl.pm) в ту же папку где скрипт и заменяю строчку
А папка со скриптом в списке @INC есть?)
устанавливать модуль нельзя
А чё так?
P.S. Зачем вообще этот модуль тебе?
|
|
|

08.01.2009, 15:50
|
|
Участник форума
Регистрация: 19.02.2008
Сообщений: 186
Провел на форуме: 584540
Репутация:
96
|
|
Обьясняю ситуацию, пишу скрипт автореггер, к нему нужно прикрутить антикапчу, скрипт антикапчи использует cURL, мой скрипт будет запускатся на множестве дедиков, на каждый ставить курл - нет желания.
Kaimi как правильно добавить папку?
|
|
|

08.01.2009, 16:02
|
|
Участник форума
Регистрация: 19.02.2008
Сообщений: 186
Провел на форуме: 584540
Репутация:
96
|
|
Как вообще поставить cURL ? вообще ни как не хочет ставиться 
|
|
|
|
|
Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
|
|
|
|