ANTICHAT.XYZ    VIDEO.ANTICHAT.XYZ    НОВЫЕ СООБЩЕНИЯ    ФОРУМ  
Баннер 1   Баннер 2
Antichat снова доступен.
Форум Antichat (Античат) возвращается и снова открыт для пользователей. Здесь обсуждаются безопасность, программирование, технологии и многое другое. Сообщество снова собирается вместе.
Новый адрес: forum.antichat.xyz
Вернуться   Форум АНТИЧАТ > Программирование > PHP, PERL, MySQL, JavaScript
   
Ответ
 
Опции темы Поиск в этой теме Опции просмотра

Удаление дубликатов.
  #1  
Старый 01.09.2009, 17:03
Аватар для Велемир
Велемир
Banned
Регистрация: 19.06.2006
Сообщений: 1,239
Провел на форуме:
1469161

Репутация: 142


Отправить сообщение для Велемир с помощью ICQ
По умолчанию Удаление дубликатов.

Всем привяу.Нужен скрипт для удаления повторяющихся строк вида string1:string2 из тхт файла.Спасибо.
 
Ответить с цитированием

  #2  
Старый 01.09.2009, 17:04
Аватар для Tombik
Tombik
Banned
Регистрация: 21.12.2008
Сообщений: 413
Провел на форуме:
4991305

Репутация: 352
По умолчанию

Text Duplicate Killer
 
Ответить с цитированием

  #3  
Старый 01.09.2009, 17:11
Аватар для d_x
d_x
Reservists Of Antichat - Level 6
Регистрация: 25.03.2008
Сообщений: 670
Провел на форуме:
4137635

Репутация: 2407


По умолчанию

Если файл небольшой, то:

PHP код:
<?php
$filename
='файл.txt';

$a=file($filename);
$f=fopen($filename,'w');
fputs($f,implode('',array_unique($a)));
fclose($f);
?>
 
Ответить с цитированием

  #4  
Старый 01.09.2009, 17:39
Аватар для aboutlook
aboutlook
Новичок
Регистрация: 21.08.2009
Сообщений: 11
Провел на форуме:
17416

Репутация: 13
Отправить сообщение для aboutlook с помощью ICQ
По умолчанию

Если по unix в консоле

cat filename.txt | sort -u
 
Ответить с цитированием

  #5  
Старый 01.09.2009, 17:42
Аватар для Flanker48
Flanker48
Участник форума
Регистрация: 09.03.2009
Сообщений: 131
Провел на форуме:
512070

Репутация: 77
По умолчанию

 
Ответить с цитированием

  #6  
Старый 01.09.2009, 18:47
Аватар для eLWAux
eLWAux
Members of Antichat - Level 5
Регистрация: 15.06.2008
Сообщений: 941
Провел на форуме:
5111568

Репутация: 2399


Отправить сообщение для eLWAux с помощью ICQ
По умолчанию

delete_del.pl <имя файла>
на выходе получим: out_<имя файла>
PHP код:
#!/usr/bin/perl  -w
#use: .pl input.txt

$inputF shift;
$ouputF 'out_'.$inputF;

open ("<$inputF");
@
input = <F>;
chomp (@input);
close F;
%
out = ();
@
input grep(!$out{$_}++, @input);

open (">>$ouputF");
print 
F join("\n",@input);
close F
 
Ответить с цитированием

  #7  
Старый 01.09.2009, 19:30
Аватар для Sharky
Sharky
Познавший АНТИЧАТ
Регистрация: 01.05.2006
Сообщений: 1,021
Провел на форуме:
3424739

Репутация: 921


Отправить сообщение для Sharky с помощью ICQ
По умолчанию

Цитата:
Сообщение от aboutlook  
Если по unix в консоле

cat filename.txt | sort -u
или sort -u file.txt >>sorted.txt
 
Ответить с цитированием

  #8  
Старый 01.09.2009, 19:52
Аватар для SpangeBoB
SpangeBoB
Moderator - Level 7
Регистрация: 12.07.2008
Сообщений: 1,705
Провел на форуме:
5914048

Репутация: 1350


По умолчанию

И для Windows докучи:
get-content text.txt | sort-object -unique | Out-File result.txt
 
Ответить с цитированием

  #9  
Старый 01.09.2009, 19:53
Аватар для gisTy
gisTy
Постоянный
Регистрация: 24.05.2008
Сообщений: 589
Провел на форуме:
3629857

Репутация: 504


По умолчанию

Цитата:
Сообщение от d_x  
Если файл небольшой, то:

PHP код:
<?php
$filename
='файл.txt';

$a=file($filename);
$f=fopen($filename,'w');
fputs($f,implode('',array_unique($a)));
fclose($f);
?>
а если файл большой? метров 300 наприимер или 700, и надо удалить все дубликаты?
 
Ответить с цитированием

  #10  
Старый 01.09.2009, 19:55
Аватар для Pashkela
Pashkela
Динозавр
Регистрация: 10.01.2008
Сообщений: 2,841
Провел на форуме:
9220514

Репутация: 3338


Отправить сообщение для Pashkela с помощью ICQ
По умолчанию

То это уже задание для РОА И еще случайная строка в файле неопределенной длины.
 
Ответить с цитированием
Ответ



Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
VK. Рассылка приглашений в группы, приложения, удаление приглашений, wiki-разметка lion-mobile Покупка, продажа, услуги в Соц. Сетях 23 09.04.2010 11:20
Удаление части баллов репутации. Егорыч+++ Новости форума 422 25.08.2009 17:32
Удаление строк из файла le-mon Болталка 7 14.06.2009 16:40



Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 


Быстрый переход




ANTICHAT.XYZ