08.02.2007, 14:49
|
|
Постоянный
Регистрация: 06.06.2006
Сообщений: 515
Провел на форуме:
1985206
Репутация:
963
|
|
Это по тому что, написал киба (perl, портировать на php не составит труда)
Код:
foreach(@tmp) { push(@unqie,$_) if !$seen{$_}; $seen{$_}=1; }
@tmp - список в который считывается файл
@unique - список в котором окажутся все уникальные строки
%seen - хэш, в котором будут повторы (key=>имя_повтора, value=>всегда 1)
Хотя я не совсем уверен, что это есть оптимальный алгоритм... Хотя хз...
UPD:
Код:
E:\>perl unique.pl
All: 1008176; Unique: 1000000; Time: 17 secs
E:\>
Oбрабатывался файл размером 25 284 608 байт (1008176 строк)
Последний раз редактировалось KSURi; 08.02.2007 в 15:13..
|
|
|