Популярният GPT-4 използва технологии с 30-годишна давност: станаха известни и други тайни

Известен бивш хакер, който за първи път е хакнал iPhone и Playstation 3 на Sony, сподели тайните на най-известния чат-бот на планетата.

Оказва се, че езиковият модел GPT-4, който OpenAI е разработил, е с размер 1,76 милиарда параметъра и използва технология с 30-годишна давност, съобщава The Decoder. GPT-4 се основава на осем модела, всеки от които има 220 млрд. параметъра, свързани в архитектурата Mixture of Experts (MoE). Тази идея е почти на 30 години, и тя вече е използвана за по-големи езикови модели, като например Google Switch Transformer.

Информацията за GPT-4 идва от Джордж Хотц, основател на Comma.ai, стартъпа за автономно шофиране. Хотц — специалист по изкуствен интелект, който също е известен със своето хакерско миналото: той първи е хакнал iPhone и Playstation 3 на Sony.

Други експерти по изкуствен интелект също коментираха публикацията на Хотц в Туитър, заявявайки, че неговата информация, най-вероятно е вярна.

Моделът MoE представлява вид ансамблово обучение, което съчетава в себе си различни модели, наречени “експерти“, за вземане на решение. В модела MoE, шлюзова мрежа определя теглото на изходните данни на всеки ‘експерт’ на базата на входните данни. Това позволява на отделните ‘експерти’ да се специализират в различни части на входното пространство. Тази архитектура е особено полезна за големите и сложни набори от данни, тъй като тя може ефективно да разделя проблемното пространство на по-прости подпространства.

Архитектурата, може би, ще опрости обучението на GPT-4, позволявайки на различни екипи да работят в отделни части на мрежата. Това обяснява също, защо OpenAI може да разработи мултимодални възможности на GPT-4, независимо от наличния в момента продукт и пускането му отделно.

Хотц също предполага, че GPT-4 издава не един резултат, а е итеративен — по 16 резултата, като се подобрява с всяка итерация. Общността от разработчици на отворен код в момента може да се опита да възпроизведе тази архитектура, идеи и технологии, които са били достъпни преди известно време. Въпреки това, GPT-4 може би е показал колко далеч може да отиде архитектурата MoE с правилните обучаващи данни и изчислителни ресурси.