2slesh - имхо если бы я удалял дубли я бы взял GLIB или другую реализацию деревьев
и построил бы дерево сразу удаляя дубли и обошел бы дерево потом и записал в выходной файл но я не стал бы писать свое дерево чтоб уложится в 20 кб
и ушло бы на это 20 мин времени вместо пол часа на написание простейшего дерева и минимум час на отладку и то не был бы уверен что багов в коде дерева больше нет
зачем себе создавать лишнюю работу для простой программы задача которой не побыстрее и незаметней закачатся на комп жертве а просто тупо парсить строки выполняя разные манипуляции с ними другое дело если пишем что то маленькое тут можно было бы и потратить два часа вместо 20 мин и написать свое простейшее дерево
вообщем я за то чтоб не городить огород на таких простых задачах а использовть библиотеки