пробовал разные варианты и как раз сейчас пробую вариант с хранением данных в БД, скорее всего будет SQLite3 ... однако какой будет скорость ...

ну а пока переписал немного функцию поиска дубликатов, теперь потребляет памяти в два раза меньше чем в прошлом варианте.

качать там же:

wordlistcleaner2

duplicate_seacher