Опиши поподробней, что ты хочешь получить этой функцией.
Следуя твоему коду, получается следдующее:
Если длина строки больше или равна 10, то строке R:='...', Потом строка в строку T Вставляется строка R, т.е. никакой замены то не происходит.
Также я не нашел ни одной функции преобразования строки в число, как это написано у тебя в коментах.

Length(...) Этой функцией преобразую строку в число
В Общем надо узнать число символов(букв) в tabsheet1.caption и если символов больше 10 то после 10 символа обрубить всё и вставить '...'
А потом tabsheet1.caption присвоить полученный результат

Lenght - возвращает длину строки, но никак не преобразует строка в число.
Если я правильно тебя понял, то код должен быть такой:

var
T: string;
X: integer;
begin
T := tabsheet.caption;
X:=Length(T);
if X>10 then
begin
delete(T,11,x-10);
tabsheet.caption:=T+'...';
end;
end;


Так!!!
Работает!
Спасибо за внимание