JS таймер через xHttpRequest через определенный промежуток времени запрашивает у сервера наличие новых сообщение, в случае наличия меняет dom структуру страницы добавля например надпись У ВАС 1 НОВОЕ СООБЩЕНИЕ
я недавно делал подобый алгоритм на xAjax (имхо идеальный вариант для связки Ajax + Php) вот ссылка https://forum.antichat.ru/showthread.php?p=564980