php :

<?
$url=file('url.txt');
for($i=0;$i<count($url);$i++){
for($j=0;$j<count($url);$j++)
if(!strcasecmp($url[$i],$url[$j]))
$k++;
if($k<=2)
echo "$url[$i]";}
?>