Решил попробовать разобраться. Проверил пин код 12345670 на точке асус, одновременно перехватывая трафик с wireshark, выбрал пакет М1, значение Enrollee Nonce: 6b:47:74:67:d0:1e:a0:62:e8:a7:f3:7b:df:61:eb:f5

В М3 - Enrollee hash 1: 09:e7:39:23:0c:90:b7:84:45:cd:32:88:b8:71:ef:eb:6a :af:de:bd:36:57:5d:64:37:46:90:be:f9:2c:df:51

Enrollee hash 2: 9d:60:c2:01:5e:00:52:33:66:65:3c:3d:20:5a:cc:be:d5 :ed:59:ea:5c:2f:a1:c4:96:c3:65:bf:65:a7:68:a1

С состоянием ГПСЧ чего-то не понял как его вычислять по этой формуле на практике, может кто нибудь разобрался? Вроде бы выше упомянутый алгоритм един для всех устройств на чипсете broadcom.