Без проблем все слепилось

Памяти не хватало что бы это все почистить вот сегодня все с харда переместил диск переразбил 80 ГБ под винду 935 гб под линукс

осталось только ждать когда почистится от повторов и строк менее 8 более 64

потом распилить по 1Гб 3,5 часа

и в архив закатать 3,5 часа

для очистки этого словаря надо (253+80)х2 ГБ

ЗАВТРА послезавтра постараюсь выложить как время будет