Почему нет?

USB Rubber Ducky, например.

Только где гарантии, что на том ПК разрешено подключать "левые" устройства?

С HID проблем, как правило, нет, а вот с накопителями очень даже могут быть...