Для удаления дублей типа таких (aaaabbbb, aabbccaa, aabbaabb....) берем вывод уважаемого Andrey9999 (пост выше) и перенаправляем его сюда:

sed '/\(\w\{2\}\).*\1/d' > aabbccdd2.dic