Putty умеет экспортировать ssh ключи.
Если клиент ходит на сервер через приватный ключ сервера тогда есть смысл его воровать. Если для коннекта к серверу публичный ключ только используеться то только использовать клиентскую машину как промежуточный хост. К примеру нужно запустить сканер портов на сервере, но на клиенте нету инструментарий и т.д - в этом случае клиентская машина используеться как сокс прокси для атакуемой машины.