Записывать в базу все обращения к сайту, и если число обращений с одного IP превышает например 40 запросов в минуту, то создавать правило в ipfw, deny на этот ip. Или, что там у вас.