G1yuK ответил наиболее правильно.

Просто определяешь dx и dy
dx:=sin(угол)*скорость;
dy:=cos(угол)*скорость;

а потом в цикле прибавляешь их к x и y
x:=x+dx;
y:=y+dy;
if ((x<rect.left) or (x>rect.right)) then dx:=-dx;
if ((y<rect.top) or (y>rect.bottom)) then dy:=-dy;

и перерисовываешь точку

That's it!