12.12.2020, 13:01
|
|
Постоянный
Регистрация: 22.09.2011
Сообщений: 471
С нами:
7705046
Репутация:
97
|
|
Сообщение от ZECORECORDS
Расшатаем тишину... Нужно что-то серьёзней. Если есть скрипт под Линукс, напишите пожалуйста.
Если работаешь с утечками, сортировать лучше по частоте вхождений. Можно например так, в два этапа:
Код:
sort -T /tmp -S 70% --parallel=16 tmp/all.txt | uniq -c > tmp/all_sorted_with_num.txt
sort -T /tmp --parallel=16 -k1,1nr -k2 -S 70% tmp/all_sorted_with_num.txt | sed 's/^ *[0-9]* //' > tmp/all_sorted_by_freq.txt
Пояснения к ключам: -S - сколько можно жрать памяти, --parallel - количество тредов, -T - путь для временных файлов
Раздел для временных файлов должен иметь много свободного места
|
|
|