тоже интересовал когда то такой вопрос, нагуглил следующее:

Пусть диалог программ будет примерно следующий:
Клиент (К): Я хочу залогиниться. Я Василиса Пупкина.
Сервер (С): Хоти. Вот тебе число (генерирует и отсылает случайное число). Сложи его по маске XOR со своим паролем, посчитай MD5 хеш и пришли результат мне.
К: Сейчас... (складывает пароль с присланным числом по маске XOR, считает MD5 хеш, отправляет результат). Вот!
С: Ага, счас (смотрит в таблицу, где лежат пароли в открытом виде, сам проводит все нужные действия, сравнивает присланное число и то, что получилось) Да ты, никак действительно Василиса! Вот тебе уникальное число (генерирует и отправляет нечто вроде SessionID), запомни! (заводит запись, соответствующую заданному номеру, в которой будет хранить все, что относится к указанному клиенту).
К: (запоминает число, отправляет его серверу при каждом обращении).