а что если на apache\nginx (хз что вы там юзаете) уменьшить таймаут half-open конектов + увеличить их количество (если мощностей мало, то количество лучше не увеличивать )?

ведь SYN атака как раз и реализуется, за счёт того, что создаётся множество half-open конектов, а у сервера (за частую) стоит большой таймлит на их "поддержку", таким образом все "слоты" заняты и для обычного пользователя не открывается сокет