! это ASCII знак "!" в юникод формате.

Вот перечень всех возможных https://www.ascii.cl/htmlcodes.htm

&quot это кавычка, &amp это собственно символ &

Почему так? А это видимо по тому, что ввод юзера в форму криво передается на сервер - с заменой спецсимволов на эти коды.