Учени предупредиха, че наближава колапса на генеративните модели на изкуствения интелект

Преди само шест месеца светът научи за ChatGPT, а днес много от водещите световни компании или са започнали да използват технологията за генеративен изкуствен интелект в дейността си, или разработват продукти, базирани на нея. Но сега учените обръщат внимание на един много важен момент – досега големите масиви от данни във вид на книги, онлайн материали, снимки, видеа и т.н., използвани за обучението на генеративните модели и за тренирането на този сравнително нов тип изкуствен интелект, благодарение на които се появиха платформи като GPT, Stable Diffusion или Midjourney, са създадени от хората. С развитието на генеративния ИИ започна да се появява и ще продължи да се появява все повече съдържание, генерирано от тези изкуствени интелекти. Въпросът в тази ситуация е, какво ще се случи, когато този изкуствен интелект започне да се обучава на материали, създадени също от ИИ?

Екип от изследователи от Великобритания и Канада проучи този проблем и публикува статия в изданието arXiv. Те стигнаха до заключението, че тази ситуация поражда опасения за технологията на генеративния изкуствен интелект и нейното бъдеще:

„Установихме, че използването на генерирано от модела съдържание при обучението ще доведе до необратими дефекти в бъдещите поколения модели“.

Фокусирайки се върху проблема за вероятностните разпределения в генеративните модели „текст-към-текст“ и „изображение-към-изображение“, авторите стигат до заключението, че „ученето от данни, генерирани от други ИИ модели, ще доведе до колапс на моделите – процес на дегенерация, при който с течение на времето моделите забравят истинското разпределение на данните. (…) Този процес е неизбежен дори в случаи с почти перфектни условия за дългосрочно обучение„.

Постепенно грешките в моделите ще се натрупват и те ще започнат да възприемат реалността все по-неадекватно. „Бяхме изненадани да видим колко бързо моделите се сриват: генеративните модели могат бързо да забравят повечето от първоначалните данни, върху които са били обучени в началото„, казва един от авторите на статията, в интервю за изданието Venture Beat.

С други думи, когато учебният модел на изкуствен интелект получава все повече данни, генерирани от изкуствен интелект, той става все по-неефективен, допуска все повече грешки в отговорите и генерираното съдържание, а отговорите му губят своята вариативност.

Той онагледи проблема с хипотетичен сценарий, при който моделът е обучен върху набор от данни от 100 котки – 10 от тях са със синя козина, а 90 – с жълта. Моделът разбира, че жълтите котки са по-често срещани, но също така представя сините котки по-жълтеникави, като понякога дава резултати със зелени котки, когато е помолен да създаде нови данни. С течение на времето първоначалният признак – синята козина – се изчерпва в повтарящи се цикли, от синьо към зелено, от зелено към жълто. Това постепенно разтваряне и загуба на второстепенните характеристики е крахът на модела. За да бъде предотвратен, е важно да се гарантира, че второстепенните групи са правилно разпределени в набори от данни, които изобразяват характеристиките правилно по отношение на количеството и точността. Трудна задача, тъй като моделите трудно се учат от редки събития.

„Ще напълним интернет с глупости“, казва друг автор – Рос Андерсън от Университета в Кеймбридж и Единбургския университет. „Това ще затрудни изучаването на нови модели чрез претърсване на интернет. Компаниите, които вече са го направили или които контролират мащабния достъп до потребителските интерфейси, ще имат предимство“.