2 файла слить в один, отсортировать, дублирующиеся строки удалить, на shell это примерно так cat file.txt | sort | uniq
наиболее универсален, но бесполезен, если порядок строк в файле имеет значение