cupper - в теории это работает, на практике - слишком медленно.
Гиговый файл будет обрабатываться несколько лет.
Это если на Си писать. Если на пыхе то несколько десятков лет xD

Если кому-то реально нужно удаление дублей из многогиговых файлов - стукните в аську - скину свою прогу на делфи.
Работает немного через жопу - потому что лень доделывать, но 5 гигабайт текстовиков превращает в один гиговый текстовик без дублей за 10-15 часов.

Писал для себя и друзей для объединения и создания мегсловарей под брут.
Хотя, прямо скажем, не думаю, что она кому-то особо нужна.