А не проще через радиус описанного круга R=abc/(4S), где a,b,с длинна сторон треугольника, а S его площадь. Площадь найти по формуле Герона, а длину сторон как корень из((x2-x1)квадрат + (y2-y1)квадрат) где х2 и y2 координаты конца отрезка, а х1 и y1 координаты начала отрезка. (Сори не знаю как корень и квадрат поставить).