А какая разница,ставите квоту на пользователя и после превышения исследуете,что за файлы,а там уже удалять скриптом.
Если Windows 2003 EE R2,то там есть FSRM которое умеет делать ограничение на папки и на фильтр файлов.
Если не ошибаюсь, начиная с W2k3 R2 добавляя роль файл-сервера можно фильтровать доступ к шаре по имери/расширению и размеру (на счет размера не уверен)