GPT-2,3,4 - это просто версии программ, алгоритмов. Им всё еще очень далеко до настоящего сознания.
Человек в отличии от программ оперирует смыслами, идеями, образами. То есть где-то у нас внутри нашего сознания есть образ всего окружающего мира и мы время от времени этот образ обновляем актуальной информацией и тем самым учимся (кстати наше зрение именно так работает – инфа с глаз обновляет этот внутренний образ, модель окружающей среды, мы ориентируемся не на непосредственно «аналоговые» данные с глаз, а на ту же внутреннюю модель — отсюда и многие «обман зрения»). И этот образ — это не набор фактов, не база статических данных как у интеллектуальных систем — это гораздо больше, это оперирование смыслами, обобщениями, идеями. Поэтому мы и не можем запомнить вообще все входящие данные, получаемые при жизни.
В общем не поддерживаю всего этого хайпа по поводу искусственного интеллекта. Интеллектуальные самообучающиеся системы - безусловно полезная штука, но до реального интеллекта им как до Луны.

"Многабукав" получилось, но в таких темах кратко объясниться крайне сложно %)