Объясняется тем, что COM1, NUL и прочие - устройства, доставшиеся винде в наследство от ДОСа. Если пробовать стереть из эксплорера, то он попробует стереть папку nul текущего каталга и есесно получит отказ, т.к. это устройство. Выход - писать полный путь в команде rmdir.