Подскажите как удалить дубли с словарей.

Есть n-ое колво словарей, как lst, txt так и dic

Ищу софт в который эти все словарики можно загрузить и чтобы он почистит их от дублей

С поддержкой кириллицы.

Файлы как по 100 Мб так и по 10Гб