Учените са убедени: съвременните LLM са задънена улица по пътя към ИИ от „човешко ниво“

От анкетираните 475 водещи експерти по изкуствен интелект 76% смятат, че увеличаването на размера на езиковите модели едва ли ще доведе до създаването на общ изкуствен интелект, способен да се учи на нивото на човека. Това поставя под въпрос оптимистичните прогнози на технологичните компании, които след успехите на генеративния ИИ през 2022 г. очакваха да постигнат интелект на човешко ниво просто чрез увеличаване на количеството данни и изчислителната мощ. Сега, когато пускането на нови модели спря, изследователите смятат, че ИИ индустрията е стигнала до задънена улица – и е малко вероятно допълнителните инвестиции да променят ситуацията.

Напредъкът на големите езикови модели (LLM) през последните години до голяма степен се дължи на архитектурата „трансформър“. Това е специален вид невронна мрежа, създадена от Google през 2017 г., която се обучава върху големи количества текстови данни, предоставени от хората. Благодарение на тази архитектура моделите могат да създават най-вероятните отговори на заявките, като използват своите невронни мрежи – набори от алгоритми, които имитират начина, по който работи човешкият мозък. Колкото повече информация получава моделът, толкова по-точни стават неговите отговори.

Въпреки това са необходими огромни количества пари и енергия, за да се продължи увеличаването на размера на тези модели. Само през 2024 г. компаниите, занимаващи се с генеративен изкуствен интелект, са привлекли инвестиции в размер на 56 млрд. долара в световен мащаб. Тези пари отиват предимно за изграждане на центрове за данни, заради които въглеродните емисии са се утроили от 2018 г. насам.

Прогнозите са, че до края на това десетилетие генерираните от човека данни, необходими за обучението на ИИ, ще се изчерпят. След това ще останат две възможности: или да се събират личните данни на потребителите, или моделите да се обучават върху „синтетични“ данни, създадени от самия ИИ. Но това може да доведе до „срив“ на LLM тъй като той ще се учи от собствените си грешки, което ще доведе до регресия на големите езикови модели.

Според интервюираните експерти ограниченията на настоящите модели произтичат не само от високата им ресурсоемкост, но и от фундаменталните ограничения в тяхната архитектура.

Всички тези проблеми пречат на компаниите да подобрят ефективността на ИИ. Така например обещаният от OpenAI модел GPT-5 така и не се появи. Идеята, че ИИ винаги може да бъде подобрен, като просто се увеличи неговият размер, също беше оспорена. Така например китайската компания DeepSeek показа тази година, че е възможно да се създаде ИИ, който се представя толкова добре, колкото и скъпите модели от Силициевата долина, но изразходва много по-малко средства и енергия.

През изминалата година се появиха няколко „разсъждаващи“ модела, които изразходват повече време и ресурси за анализ на заявките, но дават по-точни отговори от конвенционалните модели. Експертите смятат, че комбинирането на тези модели с другите системи за машинно обучение, особено след като са оптимизирани, е обещаваща насока. Експертите смятат също, че вероятностното програмиране може да помогне за създаването на ИИ, който е по-близък до човешкия интелект от сега съществуващите модели.