У меня двухядерный 2,5 ГГц и держит запросто 1000 ожидающих потоков.
100 рабочий тоже держит и не грузит систему.
Так что у тебя дело только в реализации.
Помимо проверки циклов, еще обрати внимание на то как ты считываеш из сокета.
Если ты читаеш по 1 байту, то это будет давать весомую нагрузку.