для удаления дублей пользуйтесь Raptor3
кроме этого он ещё хорошо перемешивает список, складывает файлы и сортирует.
линк http://www.photek30.com/files/raptor3.exe