В чистом Xray-core (XTLS/Xray) нет встроенной функции для ограничения количества одновременных подключений по одному ключу (UUID в VLESS)

Но можно попробовать включить логирование, потом прикрутить fail2ban или чтото еще подобное для анализа и блока "лишних" подключений. Вот такой костыль.