Antichat снова доступен.
Форум Antichat (Античат) возвращается и снова открыт для пользователей.
Здесь обсуждаются безопасность, программирование, технологии и многое другое.
Сообщество снова собирается вместе.
Новый адрес: forum.antichat.xyz
16.04.2009, 21:40
|
|
Участник форума
Регистрация: 29.05.2006
Сообщений: 148
Провел на форуме:
1159891
Репутация:
30
|
|
а, пасибо, второй вариант мне более понятен, смогу доделать)) спс большое за помощь) буду пробовать
... не происходит переход по линкам.... скрипт не менял так и залил, должен же работать в таком виде? ..
а именно срабатывает условие там где
//не определено у тя такого
вообщем false выдает, не могу понять почему...
разобрался, исправил pos !== false на pos !== "" и вроде работает
Последний раз редактировалось Gadik; 16.04.2009 в 22:11..
|
|
|
17.04.2009, 05:19
|
|
Постоянный
Регистрация: 20.12.2007
Сообщений: 334
Провел на форуме:
1934122
Репутация:
118
|
|
Доброе время суток!
Имеются записи в формате:
site.com/?id=1&page=end
site.com/?id=2&page=end
site.com/?pp=1&page=main&sort=1
site.com/?pp=2&page=main&sort=1
etc...
Подскажите пожалуйста, как убрать повторые записи, нужно чтоб вывдило, вот так:
site.com/?id=1&page=end
site.com/?pp=1&page=main&sort=1
тоесть, чтоб переменные не повторялись. Заранее спасибо.
|
|
|
|
17.04.2009, 05:42
|
|
Постоянный
Регистрация: 28.09.2007
Сообщений: 820
Провел на форуме:
6722038
Репутация:
1385
|
|
проще всего загнать в массив и заюзать ф-ию array_unique()
напр. если это файл print_r(array_unique(file('a.txt')));
ну или если уже стринг print_r(array_unique(explode("\n",$string)));
|
|
|
|
17.04.2009, 05:50
|
|
Постоянный
Регистрация: 31.07.2002
Сообщений: 312
Провел на форуме:
1212427
Репутация:
187
|
|
Сообщение от 159932
проще всего загнать в массив и заюзать ф-ию array_unique()
напр. если это файл print_r(array_unique(file('a.txt')));
ну или если уже стринг print_r(array_unique(explode("\n",$string)));
array_unique не справится с этой задачей, т.к. в приведенном примере не полностью одинаковые строки:
site.com/?id=1&page=end
site.com/?id=2&page=end
site.com/?pp=1&page=main&sort=1
site.com/?pp=2&page=main&sort=1
|
|
|
|
17.04.2009, 06:05
|
|
Постоянный
Регистрация: 20.12.2007
Сообщений: 334
Провел на форуме:
1934122
Репутация:
118
|
|
array_unique() , в этому случае не подходит.
Dr.Frank, правильно понил вопрос)
|
|
|
|
17.04.2009, 11:53
|
|
Динозавр
Регистрация: 10.01.2008
Сообщений: 2,841
Провел на форуме:
9220514
Репутация:
3338
|
|
Тогда лучше пример такого файла ТОЧНЫЙ (или сказать, что точно так, как в вопросе, только хост заменен) + идут ли такие вот записи подряд или нет (одна под другой, или может быть случайное расположение)
PHP код:
<pre>
<?php
$str1 = "site.com/?id=1&page=end";
$str2 = "site.com/?id=2&page=end";
$var1 = similar_text($str1, $str2, &$tmp);
echo "Совпадение в процентах: $tmp\n"; // примерно 95%,
//значит практически идентичны, для нас по условиям., идентичны
//Если отличие больше - значит у нас новая ссылка:
$str1 = "site.com/?id=1&page=end";
$str2 = "site.com/?pp=1&page=main&sort=1";
$var1 = similar_text($str1, $str2, &$tmp);
echo "Совпадение в процентах: $tmp\n"; // примерно 70%
//разница большая, новая уникальная ссылка (по условиям)
?>
</pre>
но в данном случае лучше всего подойдет функция Левенштейна, которая просто показывает, сколько символов надо заменить, чтобы из первой строки получить вторую, т.е. если возвращает 1 - строки АБСОЛЮТНО ИДЕНТИЧНЫ по условию задачи:
PHP код:
<?php
$str1 = "site.com/?id=1&page=end";
$str2 = "site.com/?id=2&page=end";
$var = levenshtein($str1,$str2);
echo($var); // вернет 1
?>
</pre>
если строки идут не подряд такого рода, а в разброс - то файл в массив и предварительная сортировка, потом обычное построчное чтение с помощью fgets() и сравнению по Левенштейну
т.е. по задаче конкретно примерно так выглядеть будет по идее:
PHP код:
<pre>
<pre>
<?php
$file = 'tema1.txt'; // Файл с ссылками
$res = 'tema10.txt'; // Результирующий файл
// функция для сравнения по Левенштейну
function lev($str1,$str2) {
$a = levenshtein($str1,$str2);
if ($a!=1) return true;
return false;
}
// Соритруем файл с сылками
$sort = file($file);
sort($sort);
file_put_contents($file,$sort);
// Начинаем отбирать "уникальные" ссылки
$hand1 = fopen($res,'w');
$hand = fopen($file,'r');
while(!feof($hand)) {
$buf1 = trim(fgets($hand));
$buf2 = trim(fgets($hand));
if (lev($buf1,$buf2)) fwrite($hand1,$buf1. "\n" .$buf2 ."\r\n");
else fwrite($hand1,$buf1 . "\r\n");
}
fclose($hand);
fclose($hand1);
echo 'Done';
?>
</pre>
Погонял щаз, на самом деле и этот вариант неправильный, т.к. будет работать только для ДВУХ подряд идущих ссылок  )) А если их таких три и больше - не сработает. Поэтому вот ПРАВИЛЬНЫЙ вариант на любое кол-во таких ссылок:
PHP код:
<pre>
<?php
$file = 'tema1.txt'; // Файл с ссылками
$res = 'tema10.txt'; // Результирующий файл
// функция для сравнения по Левенштейну
function lev($str1,$str2) {
$a = levenshtein($str1,$str2);
if ($a==1 or $a==0) return false;
return true;
}
// А теперь сравниваем каждую строку
//со всеми при помощи функции выше
function Ustr ($hand, $str)
{
fseek($hand,0);
while (!feof ($hand)) {
$temp = trim(fgets($hand));
if (!lev($str,$temp))
return false;
}
return true;
}
// Сортируем файл с сылками
$sort = file($file);
sort($sort);
file_put_contents($file,$sort);
// Начинаем отбирать "уникальные" ссылки
$hand1 = fopen($res,'w+');
$hand = fopen($file,'r');
while(!feof($hand)) {
$buf = trim(fgets($hand));
if (Ustr($hand1,$buf)) {
fseek ($hand1, 0, SEEK_END);
fwrite($hand1,$buf ."\r\n");
}
}
fclose($hand);
fclose($hand1);
echo 'Done';
?>
</pre>
Последний раз редактировалось Pashkela; 17.04.2009 в 13:28..
|
|
|
|
17.04.2009, 13:19
|
|
Reservists Of Antichat - Level 6
Регистрация: 25.04.2008
Сообщений: 827
Провел на форуме:
2769640
Репутация:
1304
|
|
Pashkela Вы как бы заблуждаетесь, если строки идентичны - левенштейн вернет 0. А для id=2 и id=13 левенштейн вернет 2. И ваш скрипт вообще возвращает неожиданные результаты))
Код:
Вход:
site.com/?id=1&page=end
site.com/?id=5&page=end
site.com/?id=4&page=end
site.com/?id=3&page=end
site.com/?id=2&page=end
site.com/?id=6&page=end
Выход:
site.com/?id=1&page=end
site.com/?id=3&page=end
site.com/?id=5&page=end
Последний раз редактировалось Gifts; 17.04.2009 в 13:22..
|
|
|
|
17.04.2009, 13:30
|
|
Динозавр
Регистрация: 10.01.2008
Сообщений: 2,841
Провел на форуме:
9220514
Репутация:
3338
|
|
исправил выше в посте, когда
id=2 и id=11111
пока хз, можно ручками задать в условиях в первой функции, универсально как - хз пока, или от процентов прыгать (similar_text())
Хм, не такая уж и тривиальная задачка |
|
|
|
17.04.2009, 13:37
|
|
Reservists Of Antichat - Level 6
Регистрация: 25.04.2008
Сообщений: 827
Провел на форуме:
2769640
Репутация:
1304
|
|
Если нужно сравнивать только окончания ссылок
Входной файл:
Код:
site.com/?id=1&page=end
site.com/?id=2&page=end
site.com/?pp=1&page=main&sort=1
site.com/?pp=2&page=main&sort=1
site.com/?dd=1&page=old
site.com/?dd=2&page=old
site.com/?dd=3&page=old
site.com/?dd=4&page=old
PHP код:
<?php
$file = 'tema1.txt';
$f = file_get_contents($file)."\r\n";
preg_match_all('~^[^\?]*\?[^=]+=([^&]+)(&.+)~mi',$f,$match);
$arr=array_values(array_combine($match[2],$match[0]));
print_r($arr);
echo 'Done';
?>
С учетом ниженаписанного SQLHACK регулярка будет такая (имхо проще и быстрее будет):
PHP код:
<?php
$file = 'tema1.txt';
$f = file_get_contents($file)."\r\n";
preg_match_all('~^.*/([^=]+)=[^&]+&.+~mi',$f,$match);
$arr=array_values(array_combine($match[1],$match[0]));
print_r($arr);
echo 'Done';
?>
Последний раз редактировалось Gifts; 17.04.2009 в 17:38..
|
|
|
|
17.04.2009, 13:43
|
|
Динозавр
Регистрация: 10.01.2008
Сообщений: 2,841
Провел на форуме:
9220514
Репутация:
3338
|
|
Ну или вот с процентным совпадением, процент задаете сами в первой функции:
PHP код:
<pre>
<?php
$file = 'tema1.txt'; // Файл с ссылками
$res = 'tema10.txt'; // Результирующий файл
// функция для процентного сравнения текста
function lev($str1,$str2) {
$a = similar_text($str1, $str2, &$tmp);
if (round($tmp,0)>=86) return false; // тут 86 -
// - процент совпадения строк, можно менять
return true;
}
// А теперь сравниваем каждую строку со всеми при помощи функции выше
function Ustr ($hand, $str)
{
fseek($hand,0);
while (!feof ($hand)) {
$temp = trim(fgets($hand));
if (!lev($str,$temp))
return false;
}
return true;
}
// Соритруем файл с сылками
$sort = file($file);
sort($sort);
file_put_contents($file,$sort);
// Начинаем отбирать "уникальные" ссылки
$hand1 = fopen($res,'w+');
$hand = fopen($file,'r');
while(!feof($hand)) {
$buf = trim(fgets($hand));
if (Ustr($hand1,$buf)) {
fseek ($hand1, 0, SEEK_END);
fwrite($hand1,$buf ."\r\n");
}
}
fclose($hand);
fclose($hand1);
echo 'Done';
?>
</pre>
Последний раз редактировалось Pashkela; 17.04.2009 в 13:47..
|
|
|
|
|
 |
|
|
Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
|
|
|
|
![Аватар для shellz[21h]](/avatars/avatar46780.gif){kind=avatar}
![Отправить сообщение для shellz[21h] с помощью ICQ](fusion/misc/im_icq.gif)
Похожие темы
Комбинированный вид