Форум АНТИЧАТ - [Q]Парсинг большой бд

Форум АНТИЧАТ (https://forum.antichat.xyz/index.php)

- PHP, PERL, MySQL, JavaScript (https://forum.antichat.xyz/forumdisplay.php?f=37)

- - [Q]Парсинг большой бд (https://forum.antichat.xyz/showthread.php?t=111393)

[Q]Парсинг большой бд

Что имеем:
1) большую бд (порядка) 300 метров
2) 63к записей.

Значит в каждой записи имеется несколько ссылок

Цитата:

Текст текст текст текст текст
<a href="http://rapidshare.com/download.rar.html" target="_blank">Cкачать </a>
текст текст текст текст текст
<a href="http://rapidshare.com/download2.rar.html" target="_blank">Cкачать </a>

В целях сео оптимизации хотелось бы превратить кликабельные ссылки в простой текст

Цитата:

<a href="http://rapidshare.com/download.rar.html" target="_blank">Cкачать </a>

-->

Цитата:

http://rapidshare.com/download.rar.html

как бы с небольшими юд это будет достаточно просто сделать, но .... это не мой случай.
Хотел бы выслушать ваши предложения

можно и так:

Код:

#!usr/bin/perl

open(DB, "base.txt");

@db = <DB>;

close(DB);

open(PARSED, ">>parsed.txt");

foreach $db (@db)

{

($a, $url, $b) = split("\"",$db);

chomp($url);

print PARSED "$url\n";

tr/a-zA-Z//cd

}

close(PARSED);

и больше размеры парсил

Цитата:

1) большую бд (порядка) 300 метров
2) 63к записей.

Парсили 2 милиона записей и всё в порядке :)

Способ 1:
Слить базу на локальный комп и там распарсить.
Способ 2:
Если локальный комп слабый, то слить базу и распарсить через C++.
Способ 3:
Распарсить удалённо используя C++.

Вполне можно и на php с использованием sleep(1)

set_time_limit(0)
SET TRANSATION
и поехал че хочешь с ней ковырять...заливай на удаленную машину, запускай и иди курить, придешь - соптимизируется... У нас на работе для 2-3кк записей на ночь оставляли

ах да..кто не понял база - мускул
UPD// набросать кто может на php?

PHP код:


		
			
$result = mysql_query("SELECT * FROM posts LIMIT 10")or die("бля: " . mysql_error()); 



while ($row=mysql_fetch_array($result)) 

{  

echo "$row[full_news]";

}    



preg_match_all('#href=(?:([\"\'])([^\"\'>]\S*?)\1[^>]*|([^>\"\']+))>(.*?)</a>#is ', $str, $matches);

foreach($matches[2] as $key)

{

echo $key; echo '<br>';

}

что то не получается связать это вместе..

#Wolf# По-хорошему, лучше сделать полный дамп базы и обработать, иначе будет слишком много запросов к БД.

PHP код:


		
			
<?

set_time_limit(0);

$begin=0; // С какой позиции начинать

$count=10; // Сколько строк БД обрабатывать за раз

for($i=$begin;;$i+=$count)

{

    $result=mysql_query("SELECT * FROM posts LIMIT $i,$count");

    if (!mysql_num_rows($result)) break;

    

    while ($row=mysql_fetch_array($result))

    {

        $tmp=preg_replace('~<a.*href="([^"]+)".*>.*</a>~Usi','$1',$row['full_news']);

        // В запросе на обновление не уверен насчет экранирования кавычек

        if ($tmp!=$row['full_news']) $update=mysql_query("UPDATE posts SET full_news='$tmp' WHERE full_news='".$row[full_news]."'");

    }

    @file_put_contents('cur_pos.txt',$i); // Пишем в файл текущую позицию, на всякий случай

}

Но повторюсь - лучше обрабатывать построчно дамп. Так можно будет проконтролировать, что все обработано правильно и не угробить случайно БД

for($i=$begin;;$i+=$count) - ошибко, или я чтото не понимаю оО

Gifts, можете пример привести, с дампом как в php?