В iptables есть модуль, который позволяет ограничить количество коннектов с 1 ip в единицу времени. Если флудят всего с нескольких адресов, можно и средствами апача забороть - см. mod_evasive, например.