Удаление дубликатов.

[Велемир]

Всем привяу.Нужен скрипт для удаления повторяющихся строк вида string1:string2 из тхт файла.Спасибо.

[Tombik]

Text Duplicate Killer

[d_x]

Если файл небольшой, то:


<?php
$filename='файл.txt';

$a=file($filename);
$f=fopen($filename,'w');
fputs($f,implode('',array_unique($a)));
fclose($f);
?>

[aboutlook]

Если по unix в консоле

cat filename.txt | sort -u

[Flanker48]

bvsDupDelet (http://vizbe.net.ru/bvsDupDelet.zip)

[eLWAux]

delete_del.pl <имя файла>
на выходе получим: out_<имя файла>
#!/usr/bin/perl -w
#use: .pl input.txt

$inputF = shift;
$ouputF = 'out_'.$inputF;

open (F , "<$inputF");
@input = <F>;
chomp (@input);
close F;
%out = ();
@input = grep(!$out{$_}++, @input);

open (F , ">>$ouputF");
print F join("\n",@input);
close F;

[Sharky]

Если по unix в консоле

cat filename.txt | sort -u

или sort -u file.txt >>sorted.txt

[SpangeBoB]

И для Windows докучи:
get-content text.txt | sort-object -unique | Out-File result.txt

[gisTy]

Если файл небольшой, то:


<?php
$filename='файл.txt';

$a=file($filename);
$f=fopen($filename,'w');
fputs($f,implode('',array_unique($a)));
fclose($f);
?>

а если файл большой? метров 300 наприимер или 700, и надо удалить все дубликаты?

[Pashkela]

То это уже задание для РОА:) И еще случайная строка в файле неопределенной длины.

[geezer.code]

И для Windows докучи:
get-content text.txt | sort-object -unique | Out-File result.txt
это какая такая винда так умеет? наверное та что с PowerShell ?
зы xp pro - sp2 не таких команд.

[FireFenix]

Win7 из повершелла умеет :D