OpenAI изпитва проблеми с GPT-5 Orion – няма достатъчно пари и данни за обучението му

Разработването на модела GPT-5 от страна на OpenAI, въпреки недостатъчните инвестиции и високите очаквания, е изправено пред множество технически и финансови предизвикателства, които могат да имат критични последици за компанията и нейната репутация.

Проблемът при създаването на GPT-5, известен също като Orion, е липсата на качествени данни за обучение. Както Wall Street Journal отбелязва, „няма достатъчно данни в целия Интернет.“ Предишните етапи на обучение струват на компанията над 500 милиона долара, но резултатите не отговарят на очакванията. Orion само незначително превъзхожда предишните модели, което прави тези разходи икономически неоправдани.

Стартирането на ChatGPT преди две години подхранва растежа на AI-индустрията, създавайки бум в инвестициите. Завишените очаквания на инвеститорите обаче оказват натиск върху OpenAI. Октомврийският кръг на финансиране оцени компанията на 157 милиарда долара, до голяма степен поради надеждите за GPT-5. От модела се очакват пробивни решения като научни открития или оптимизиране на онлайн-пазаруването, както и намаляване на броя на грешните отговори. Въпреки това, както отбелязват експертите, критериите за оценка на такива системи все още остават интуитивни, което затруднява прогнозирането на сроковете за завършване на разработката.

Основната трудност е необходимостта от огромни изчислителни ресурси и липсата на различни данни. Например, обучението на GPT-4 струва 100 милиона долара, а на GPT-5 може да струва до 1 милиард долара. Изследователите са опитали да използват генерирани от други AI системи синтетични данни, но това е довело до неточни резултати. В отговор компанията създаде модела o1, който анализира и сравнява решенията за генериране на по-добри данни.

До средата на 2024 г. беше ясно, че OpenAI изостава от графика, докато конкурентите активно наваксваха. Липсата на разнообразие от данни беше разкрита по време на мащабни тестове и компанията е принудена да търси нови източници на информация. В същото време OpenAI реши да заложи на разработването на модели, способни да „разсъждават„. Това е подход, при който моделът може адаптивно да решава нови задачи, но изисква значително повече ресурси поради сложните процеси на обработка на множеството варианти за отговор.

Според разработчиците, комбинирането на способността за разсъждение с мощни данни, генерирани както от AI, така и от хората, може да осигури пробив в областта на AI. Високата цена на Orion и забавянето на разработката обаче подчертават рисковете от провал. Ако резултатите на GPT-5 останат посредствени, това може да навреди върху репутацията на OpenAI и да доведе до значителен спад в стойността на компанията.

Въпреки предизвикателствата около създаването и обучението на новия си модел на изкуствен интелект, наскоро OpenAI прогнозира, че AI-агентите ще могат да заменят много работници още тази година.