парсеры обычно используют запросы с такими заголовками:
Accept-Ranges: bytes
Range: bytes=300-999
для экономии трафика.
не разрешай такие запросы.

парсеры часто не посылают заголовки
Accept-Charset
Accept-Language
не разрешай такие запросы (создатель парсера потеряет время, для того чтобы понять это)

используй сжатие, не все парсеры умеют обрабатывать gzip