Инженери на OpenAI: „5-10 души вече са достатъчни за обучението на GPT-4“

Според инженерите на OpenAI, в момента за преобучаването на моделите GPT-4 от нулата са необходими само 5 до 10 специалиста.

Струва си да се отбележи, че стотици хора участваха в създаването на пуснатия през март 2023 г. модел и почти всички ресурси на OpenAI бяха свързани. В отговор на въпрос от главния изпълнителен директор на компанията Сам Алтман, инженерите казаха, че в момента не са необходими повече от 5-10 души, за да се обучи GPT-4 от нулата.

Според Алекс Пайно, изследовател в OpenAI, който ръководи предварителния процес на машинно обучение за най-мощния AI-модел на компанията до момента GPT-4.5, за повторното обучение на моделите GPT-4o и GPT-4 се използва почти същия материал като обучението на GPT-4.5. Даниел Селсам, изследовател в OpenAI, който работи върху ефективността на данните и алгоритмите, е съгласен, че възстановяването на GPT-4 в момента ще бъде много по-лесно.

Според Сам Алтман, пуснатият през февруари нов модел GPT-4.5 е първият, който създава впечатление за общуване с внимателен човек. Както отбелязва Пайно, GPT-4.5 е проектиран да бъде 10 пъти по-интелигентен от GPT-4. В същото време Алтман казва, че OpenAI вече не е ограничен по отношение на изчислителната мощност за обучението на AI — нещо, което светът все още не е осъзнал напълно.

Големите технологични компании инвестират милиарди в инфраструктурата за изкуствен интелект. Microsoft, Amazon, Google и Meta се очаква да похарчат общо 320 милиарда долара капиталови разходи тази година, за да разширят възможностите на своя AI.

През март OpenAI обяви, че е приключил най-големия кръг за частно технологично финансиране в историята, включително и $30 милиарда от SoftBank и $10 милиарда от други инвеститори, което дава на компанията пазарна капитализация от $300 милиарда. Компанията казва в изявление, че новият капитал ще помогне на OpenAI допълнително да разшири изчислителната си мощ.

Алтман отбелязва, че OpenAI в момента се фокусира върху ефективността на данните, върху които се обучава AI. GPT моделите са много ефективни при обработката на информация, но има ограничение за това колко дълбоко могат да разберат данните.

Той обясни, че с увеличаването на изчислителната мощност обемът на информацията започва да нараства по-бавно. За да се реши този проблем, са необходими алгоритмични иновации, които ще извлекат повече стойност от същото количество информация.