Проблема в том, что старая база чуть искривлена изначально, выражено в том что несколько кодировок намешалось.
Есть конвертер скрипт специальный impex, с его помощью произвел конвертирование БД из под phpbb в vbulletin.
Из за того что в исходной базе напутаны кодировки и конверт произошел не совсем ровно, а именно хеши с паролями не воспринимаются адекватно.

В данном случае самый доступный выход это выдернуть из первоначальной базы хеши в формате, в котором их сохранил phpbb и конвертировать в формат хеша понятный vbulletin, ну и подсунуть в новую базу.