Опасен път. Мъск иска да обучи AI на данните, които сам генерира

Милиардерът и основател на стартъпа за изкуствен интелект xAI Илон Мъск смята, че индустрията е изправена пред криза, тъй като данните за обучение на моделите са почти изчерпани.

Илон Мъск се съгласява с експертите по изкуствен интелект, които казват, че са останали малко реални данни за обучението на моделите.

„Вече сме изчерпали цялата сума на човешките знания за обучението на изкуствен интелект. Това се случи предимно през последната година“ — каза Мъск по време на разговор с ръководителя на маркетинг групата Stagwell Марк Пен.

Мъск предположи, че синтетичните данни — данни, създадени от самите AI-модели — могат да се използват за обучение на моделите в бъдеще.

„Единственият начин за допълване е чрез синтетични данни, където изкуственият интелект създава [данни за обучение]. Със синтетичните данни изкуственият интелект ще се самооцени и ще премине през този процес на самообучение“ — добавя Мъск.

Според TechCrunch, това е в съответствие с неотдавнашните изявления на един от съоснователите на OpenAI, Иля Суцкевер, който на конференцията NeurIPS каза, че липсата на данни за обучение ще принуди производителите на AI да променят начина, по който разработват модели.

Phi-4 AI на Microsoft беше обучен на синтетични данни заедно с данни от реалния свят. Същото важи и за моделите Gemma на Google и Claude 3.5 Sonnet на Anthropic. Meta подобри най-новата си серия от модели Llama, използвайки генерирани от AI данни.

Има ползи от ученето от синтетични данни, като например спестяване на разходи. Но има и недостатъци. Някои изследвания предполагат, че синтетичните данни могат да доведат до колапс на модела, където той става по-малко „креативен“ и по-предубеден в своите резултати.