Нужно написать программу или скрипт!
Чтобы убирала повротные строки в тхт документе
111"№дэ
111"№дэ
111"№дэ
нужно,чтобы в готовом варианте оставалась только одна строка!
Софт должен работать достаточно быстро
Отрабатывать надо по несколько лямов строк за раз,чтобы система при этом не висла
Ещё фукция
Ввёл символы и софт оставляет только те строки в которых содержатся эти символы!
Пример : ввожу №
111"вадэ
111"89дэ
111"№дэ
нельзя невкоем случа все данные из файла переносить в ОЗУ, ибо как сказал Pashkela
взять файл на 2гаги и плакали вы со своими 1г ОЗУ.
Можно например брать строчку из исходного файла, проверять нетли ее в выходном файле, если нет то писать туда. Но миллионная строчка будет в худшем случа сравниваться 99999 строчками в выходном файле... короче факториал будет у вас, время работы такова приложение будет O(n)=n! где n число сточек в исходном файле. Зато ограничения на оперативку и входной файл нету. Ничего более умней придумать несмог.
Выкладываем свои идеи. Думаю если найдеться хороший алгоритм, многие его закодят, ибо полезная штука будет.