http://www.google.com/search?q=apache+ddos+protection
Есть mod_dosevasive. Это вроде как налету.
Можно написать своего демона, который будет сидеть и анализировать логи по мере поступления и принимать решения о добавлении правил в firewall.