OpenAI обясни защо ChatGPT винаги ще халюцинира

Ново проучване на OpenAI разкрива истинската същност на халюцинациите при големите езикови модели: това не е временен недостатък, а неизбежен математически проблем, който се запазва дори при перфектни данни и усъвършенствани методи за обучение. Макар че технически е възможно да се намалят грешките, като се позволи на изкуствения интелект да оценява собствената си увереност и да се въздържа от отговор, когато се съмнява, подобно решение е икономически неизгодно и непрактично. Потребителите не са склонни да се примирят с ИИ, който постоянно казва „не знам“. Така че халюцинациите вероятно ще останат присъща характеристика на езиковите модели в обозримо бъдеще.

Част от причината се крие в начина на работа на моделите: ИИ предсказва по една дума наведнъж въз основа на вероятности. Този метод естествено води до натрупване на грешки при генерирането на дълги текстове, което прави нивото на халюцинациите поне два пъти по-високо, отколкото при обикновените въпроси с „да/не“. Освен това, колкото по-малко моделът се сблъсква с даден факт по време на обучението, толкова по-високо е нивото на грешките. Например, ако 20% от рождените дни на известни личности се срещат само веднъж в данните за обучение, моделите следва да грешат поне в 20% от случаите.

Съществуващите подходи след обучението, включително обратната връзка от лицата, не решават напълно проблема. Анализ на десет популярни еталона за изкуствен интелект показа, че повечето от тях използват бинарна система за оценяване, при която отговорът „не знам“ се наказва по същия начин като грешния отговор.

Това стимулира моделите да „гадаят“, вместо честно да признават несигурността.

В документа на OpenAI се предлага решение: да се позволи на изкуствения интелект да оценява собствената си увереност, преди да отговори. Моделът би могъл да отговори само ако е сигурен в повече от 75%. В същото време той ще получава „наказание“ от 3 точки за всеки неправилен опит, докато правилният отговор ще се оценява само с 1 точка. На теория това би могло да намали броя на халюцинациите, но на практика потребителите вероятно ще се откажат от система, която твърде често отговаря с „не знам“.

Проблемът се задълбочава от изчислителната икономика. Моделите, които отчитат несигурността, са принудени многократно да анализират възможните варианти и да оценяват тяхната валидност, което значително увеличава натоварването на изчислителните ресурси. Особено когато става въпрос за системи, които обработват милиони заявки дневно. По-напредналите методи, като например активното обучение, при което изкуственият интелект задава уточняващи въпроси, за да намали несигурността, могат да подобрят точността на моделите, но също така увеличават изчислителните изисквания. Тези подходи са оправдани в специализирани области, където грешките струват милиони долари, като например проектирането на чипове, финансовата търговия или медицинската диагностика. За потребителските приложения те все още не са икономически жизнеспособни.

Въпреки техническите възможности за намаляване на халюцинациите, настоящите бизнес стимули противоречат на това.

Потребителските приложения все още доминират в приоритетите за развитие на ИИ. Потребителите искат бързи и сигурни отговори, а тестовете и метриките насърчават системите, които приемат всеки отговор, дори и неверен. Това подпомага запазването на халюцинациите като неизбежен страничен ефект.

В крайна сметка проучването на OpenAI разкрива една неудобна истина: докато потребителските приложения остават приоритет, халюцинациите ще се запазят. Пълното им премахване е възможно само чрез преосмисляне на стимулите и подходите за разработване на изкуствен интелект, а настоящата компютърна икономика и очакванията на потребителите правят това малко вероятно.