grep -F -v -f 2.txt 1.txt > 3.txt (удалить из первого файла содержимое второго)
2 словаря 600мб и 400мб уже крутит 2.5 часа на ssd дисках даже не знаю что там на выходе получится. Если cat | sort -u успешно объединяет словари любого размера и удаляет дубликаты довольно быстро, неужели нет инструмента который может сделать практически тоже самое