Я не вкурил что за модули, но скорее всего картинки после обработки GD такие.

И я думаю что этот момент где-то в конфиге можно отрегулировать

Тебе не качество изображение нужно исправить, а размер показываемого. У тебя изначально код уменьшает до 100*100 пикселей, и при увеличении у тебя просто увеличивает ту же картинку на 100*100 пикселей, тебе нужно сделать так что бы при наведении на картинку автоматически вылазила большая картинка которую ты изначально загрузил на сервер, а не уменьшеная копия. И это кажется делается в JS a He B php