Убийца дублей качай, tdk в гугли вбиваешь и все
http://www.rusdocs.com/text-duplicate-killer-utilita-dlya-udaleniya-iz-spiska-povtoryayushhixsya-strok