Ошибочка:
y' = (tg ^ 2(x))/(cos^2(x)) - 1/cos ^ 2 (x) + 1


Дальше ищем производную от этой.

= ((2tg(x) - 2cos(x)*sin(x)*sin^2(x))/cos^2(x)) - 2sin(x)/cos^3(x)

ну и дальше там где tg умножаешь на cos(x) и от первого отнимаешь второе и пишешь ответ