может тебе тоже поможет
покапался в нете и нашел такую штуку
тут конечно про редхеты и usb, но наверняка рациональное звено тут есть, по крайней мере у меня на федоре x64 все usb заработали как надо.
в кратце все выглядит так (понятия не имею есть ли такие файлы настроек в дебиан):
в /etc/rc.sysinit надо прописать права на монтирования устройства 0664 и приписать к списку группу vboxusers
в /etc/udev/rules.d/10-vboxdrv.rules поменять права для vboxdrv с 600 на 660 или круче.

оригинал статьи:
http://rajaseelan.com/2009/07/06/how-to-enable-usb-devices-for-virtualbox-guests-in-fedora-11/