ANTICHAT.XYZ    VIDEO.ANTICHAT.XYZ    НОВЫЕ СООБЩЕНИЯ    ФОРУМ  
Баннер 1   Баннер 2

ANTICHAT — форум по информационной безопасности, OSINT и технологиям

ANTICHAT — русскоязычное сообщество по безопасности, OSINT и программированию. Форум ранее работал на доменах antichat.ru, antichat.com и antichat.club, и теперь снова доступен на новом адресе — forum.antichat.xyz.
Форум восстановлен и продолжает развитие: доступны архивные темы, добавляются новые обсуждения и материалы.
⚠️ Старые аккаунты восстановить невозможно — необходимо зарегистрироваться заново.
Вернуться   Форум АНТИЧАТ > Программирование_OLD > PHP, PERL, MySQL, JavaScript
   
 
 
Опции темы Поиск в этой теме Опции просмотра

  #871  
Старый 05.01.2009, 15:04
Kaimi
Reservists Of Antichat - Level 6
Регистрация: 23.08.2007
Сообщений: 1,237
Провел на форуме:
18127311

Репутация: 1676


Отправить сообщение для Kaimi с помощью ICQ
По умолчанию

Код:
use LWP::Simple;
use strict;
use threads;
use threads::shared;

my $start : shared=1;
my $finish : shared=10;
my $potok=5;
my @trl;

for(0..$potok-1) {$trl[$_] = threads->create(\&pars);}
for(@trl) { $_->join; }


sub pars {
	while ($start <= $finish) {
		my $url = undef;
		{lock($start); $url ="url/$start/"; ++$start;}
		print "Search on URL: $url\n";
		my $response=get $url;
		
	}
}
 

  #872  
Старый 05.01.2009, 15:31
$p01nt
Участник форума
Регистрация: 19.02.2008
Сообщений: 186
Провел на форуме:
584540

Репутация: 96
По умолчанию

Теперь он очень быстро получает странички (Выводит на стдоут search on url: блаблабла
и тут начинает висеть (даже когда 5 потоков) + ничего не пишет в файл, минуты через 3 развисает и едет дальше...
Таск менеджер показывает бездействие системы 98%!!

PHP код:
my $start shared=20;
 
my $finish shared=100;
 
my $potok=5;
 
my @trl;

 for(
0..$potok-1) {$trl[$_] = threads->create(\&pars);}
 for(@
trl) { $_->join; }

 
sub pars {
 while (
$start <= $finish){
 
my $url=undef;
 {
lock($start); $url ="url/$start/"; ++$start;}
 print 
"Search on URL: $url\n";
 
my $response=get $url;
 
my @massiv=$response=~m/регулярка/ig;
 
open(TEXT,">>text.txt");
 foreach (@
massiv) { print TEXT $_ "\n"; }
 }
 } 

Последний раз редактировалось $p01nt; 05.01.2009 в 16:12..
 

  #873  
Старый 06.01.2009, 00:18
$p01nt
Участник форума
Регистрация: 19.02.2008
Сообщений: 186
Провел на форуме:
584540

Репутация: 96
По умолчанию

С вопросом который выше - разобрался(проблема была в дедике)), но у меня такое ощущение ... то что парсер не пашет или пашет не правильно Он качает 100 страниц, а парсит из них только 1! Потом опять 100, парсит одну.
Код выше.
 

  #874  
Старый 07.01.2009, 05:57
or1
Banned
Регистрация: 07.09.2008
Сообщений: 48
Провел на форуме:
127764

Репутация: -1
По умолчанию

подскажите плз где найти можно Encoding and Decoding для перла ,
Encoding and Decoding URLs via perl (including decimal to hex conversion)

описание:
http://glennf.com/writing/hexadecimal.url.encoding.html

Последний раз редактировалось or1; 07.01.2009 в 21:11..
 

  #875  
Старый 07.01.2009, 12:39
$p01nt
Участник форума
Регистрация: 19.02.2008
Сообщений: 186
Провел на форуме:
584540

Репутация: 96
По умолчанию

or, обусификация? О_О или регулярные выражения? что то я тебя не понял
 

  #876  
Старый 07.01.2009, 21:09
or1
Banned
Регистрация: 07.09.2008
Сообщений: 48
Провел на форуме:
127764

Репутация: -1
По умолчанию

есть же вообще Encoding and Decoding URLs via perl "перла "или нет так почему такая статья существует ,прочетать можно тут и вообще не надо отвечать я сам разобрался

Encoding and Decoding URLs via perl (including decimal to hex conversion)
http://glennf.com/writing/hexadecimal.url.encoding.html
 

  #877  
Старый 08.01.2009, 14:39
$p01nt
Участник форума
Регистрация: 19.02.2008
Сообщений: 186
Провел на форуме:
584540

Репутация: 96
По умолчанию

Как подключить модуль к Perl не устанавливая его?
Проблема с Curl, в скрипте:
use WWW::Curl::easy;
Качаю Curl с cpan ( curl.pm) в ту же папку где скрипт и заменяю строчку
use WWW::Curl::easy;
на
use Curl;
но выдает ашипку:
Цитата:
Can't locate loadable object for module WWW::Curl in @INC (@INC contains: /etc/perl /usr/local/lib/perl/5.10.0 /usr/local/share/perl/5.10.0 /usr/lib/perl5 /usr/share/perl5 /usr/lib/perl/5.10 /usr/share/perl/5.10 /usr/local/lib/site_perl .) at Curl.pm line 12
BEGIN failed--compilation aborted at Curl.pm line 12.
Compilation failed in require at Client.pm line 4.
BEGIN failed--compilation aborted at Client.pm line 4.
Compilation failed in require at xxx.pl line 9.
BEGIN failed--compilation aborted at xxx.pl line 9.
Как пропавить?

P.S. устанавливать модуль нельзя

Последний раз редактировалось $p01nt; 08.01.2009 в 14:41..
 

  #878  
Старый 08.01.2009, 15:26
Kaimi
Reservists Of Antichat - Level 6
Регистрация: 23.08.2007
Сообщений: 1,237
Провел на форуме:
18127311

Репутация: 1676


Отправить сообщение для Kaimi с помощью ICQ
По умолчанию

Цитата:
Качаю Curl с cpan ( curl.pm) в ту же папку где скрипт и заменяю строчку
А папка со скриптом в списке @INC есть?)

Цитата:
устанавливать модуль нельзя
А чё так?

P.S. Зачем вообще этот модуль тебе?
 

  #879  
Старый 08.01.2009, 15:50
$p01nt
Участник форума
Регистрация: 19.02.2008
Сообщений: 186
Провел на форуме:
584540

Репутация: 96
По умолчанию

Обьясняю ситуацию, пишу скрипт автореггер, к нему нужно прикрутить антикапчу, скрипт антикапчи использует cURL, мой скрипт будет запускатся на множестве дедиков, на каждый ставить курл - нет желания.
Kaimi как правильно добавить папку?
 

  #880  
Старый 08.01.2009, 16:02
$p01nt
Участник форума
Регистрация: 19.02.2008
Сообщений: 186
Провел на форуме:
584540

Репутация: 96
По умолчанию

Как вообще поставить cURL ? вообще ни как не хочет ставиться
 
 





Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 


Быстрый переход




ANTICHAT.XYZ