GPT-4 има 13 милиона параметри на 120 нива: нова информация за най-новата невронна мрежа на OpenAI

В социалните мрежи Twitter, Reddit и на Treadreader се появи нова информация за езиковия модел GPT-4. Казано най-общо, новият генеративен изкуствен интелект е 10 пъти по-голям, по-добре използва ресурсите, като същевременно отговорите са по-добри и по-качествени.

GPT-4 работи с приблизително 1,8 трилиона параметри на 120 нива, което е 10 пъти повече от GPT-3. Той използва модел на смесица от експерти (Mixture of Experts – MoE) с 16 обособени невронни експерта, всеки от които има приблизително 111 милиарда параметъра. Използването на MoE дава възможност за по-ефективно управление на ресурсите за логически изводи, като при този подход са необходими само около 280 милиарда параметъра и 560 TFLOPs в сравнение с 1,8 трилиона параметъра и 3700 TFLOPs, изисквани предишния модел.

Този модел е обучен на базата на около 13 трилиона токена от различни източници, включително интернет, книги и научни статии. За да се намалят разходите за обучение, OpenAI използва тензорен и конвейерен паралелизъм, както и голям размер на партида от 60 милиона токена. Приблизителните разходи за обучението на GPT-4 са около 63 милиона долара.

Макар че наличието на повече ЕА експерти би подобрило работата на модела, OpenAI е решила да използва 16 поради проблеми с обобщаването и сходимостта. Логическите резултати на GPT-4 струват три пъти повече от предшественика му DaVinci, главно поради необходимостта от по-големи клъстери и по-ниска степен на използване. Моделът включва и отделен видеокодер с кръстосано насочване на вниманието за мултимодални задачи като четене на уеб страници и декодиране на изображения и видео.