ULM вас спасёт....

Объединял три словаря по 1.3 гига и удалял дубликаты. Минут 10 заняло.

PasswordsPro уже давно морально устарел, на смену ему юзаю ULM и пару функций беру из WIFIPR