Ток с базой надо, типа так. Сканирует диру, записует все названия в базу и каждый раз после записи проверяет в базе наличие такого файла. Если есть удаляет тот который в базе и тот который нашол. Примерно так.
эээммм...очень извращено и ТСу нужно не файлы в директории удалять, а дубли строк в oдном файле