проще всего загнать в массив и заюзать ф-ию array_unique()
напр. если это файл print_r(array_unique(file('a.txt')));
ну или если уже стринг print_r(array_unique(explode("\n",$string)));