А у тебя что, один сокет на несколько клиентов ?
Как так может быть ?
Сколько клиентов, столько и сокетов должно быть.