Решено методом ненаучного самотыка, оказывается если при создании окна не указать стиль LBS_NOTIFY, то он ListBox не обрабатывает ни одно сообщение, кроме LBN_SETFOCUS