Халюцинациите на изкуствения интелект се увеличават с увеличаване на мощността му

Миналия месец ботът с изкуствен интелект, който се грижи за техническата поддръжка на Cursor —  обещаващ инструмент за компютърни програмисти, предупреди няколко клиента за промяна в политиката на компанията. В нея се посочва, че вече не им е позволено да използват Cursor на повече от един компютър.

В гневни публикации в онлайн-форуми клиентите се оплакаха. Някои са премахнали акаунтите си в Cursor. А други се разгневиха още повече, когато осъзнаха какво се е случило: ботът с изкуствен интелект е обявил промяна в политиката, която не съществува.

„Нямаме такава политика.“ „Разбира се, можете да използвате Cursor на множество машини“, написа главният изпълнителен директор и съосновател на компанията Майкъл Труел в публикация в Reddit. „За съжаление, това е грешен отговор от бота по поддръжката с изкуствен интелект.“

Повече от две години след въвеждането на ChatGPT, технологичните компании, офис служителите и обикновените потребители използват ботове, задвижвани от изкуствен интелект, за да изпълняват все по-широк набор от задачи. Но все още няма начин да се гарантира, че тези системи предоставят точна информация.

Най-новите и мощни технологии – така наречените системи за разсъждение от компании като OpenAI, Google и китайския стартъп DeepSeek – генерират повече грешки, а не по-малко. С подобряването на математическите им умения, разбирането им за фактите става все по-нестабилно. Не е съвсем ясно защо.

Съвременните AI-ботове са базирани на сложни математически системи, които усвояват уменията си чрез анализ на огромни количества цифрови данни. Те не могат да решат кое е истина и кое е лъжа. Понякога те просто си измислят неща — феномен, който някои изследователи на изкуствения интелект наричат ​​халюцинации. В един тест, процентът на халюцинации в по-новите системи с изкуствен интелект е бил доста висок — 79%.

Тези системи използват математически вероятности, за да отгатнат най-добрия отговор, а не строг набор от правила, определени от човешки инженери. Следователно, те допускат определен брой грешки. „Въпреки всичките ни усилия, те винаги ще халюцинират“ — казва Амр Авадала, главен изпълнителен директор на Vectara — стартъп компания, която разработва инструменти за изкуствен интелект за бизнеса, и бивш ръководител на Google. „Това никога няма да изчезне.“

2

В продължение на няколко години това явление поражда опасения относно надеждността на тези системи. Въпреки че са полезни в някои ситуации, като например  писане на курсови работи, водене на бележки по офис документи и създаване на компютърен код, грешките им могат да причинят проблеми.

Изкуствените ботове, свързани с търсачки като Google и Bing, понякога генерират резултати от търсенето, които са смешно неверни. Ако ги попитате за добър маратон на Западното крайбрежие, може да ви предложат състезание във Филаделфия. Ако ви кажат броя на домакинствата в Илинойс, е възможно да се позовават на източник, който не съдържа тази информация.

Тези халюцинации може да не са голям проблем за много хора, но са сериозен проблем за всеки, който използва технологиите със съдебни документи, медицинска информация или чувствителни бизнес данни.

„Прекарвате много време, опитвайки се да разберете кои отговори са фактически и кои не“ — каза Пратик Верма, съосновател и главен изпълнителен директор  на Okahu — компания, която помага на бизнеса да се справи с халюцинациите. „Неправилното реагиране на тези грешки по същество обезценява стойността на системите с изкуствен интелект, които би трябвало да автоматизират задачи вместо вас.“

Кърсор и г-н Труел не са отговорили на исканията за коментар.

В продължение на повече от две години компании като OpenAI и Google непрекъснато подобряват своите системи с изкуствен интелект и намаляват честотата на тези грешки. Но с използването на нови  системи за разсъждение, броят на грешките се увеличава. Според собствените тестове на компанията, най-новите системи на OpenAI халюцинират по-често от предишната система.

Компанията установи, че o3 — най-мощната ѝ система — причинява халюцинации в 33% от случаите при провеждане на теста PersonQA, който включва отговаряне на въпроси за публични личности. Това е повече от два пъти по-високо ниво от халюцинациите в предишната система за разсъждения на OpenAI, наречена o1. Новият o4-mini причинявал халюцинации още по-често: 48%.

При друг тест, наречен SimpleQA, който задава по-общи въпроси, процентите на халюцинации за o3 и o4-mini са били съответно 51% и 79%. Предишната система, o1, халюцинираше в 44 процента от случаите.

3

След появата на ChatGPT, феноменът на халюцинациите повдига опасения относно надеждността на системите с изкуствен интелект.

В статия, описваща подробно тестовете, OpenAI отбелязва, че са необходими допълнителни изследвания, за да се разбере причината за тези резултати. Тъй като системите с изкуствен интелект учат от повече данни, отколкото хората могат да си представят, за технолозите е трудно да определят защо се държат по начина, по който се държат.

„Халюцинациите не са по своята същност по-често срещани в моделите на разсъждение, въпреки че работим активно за намаляване на по-високите нива на халюцинации, които наблюдавахме в o3 и o4-mini“ — казва говорителката на компанията Габи Райла. „Ще продължим изследванията си върху халюцинациите във всички модели, за да подобрим точността и надеждността.“

Ханане Хаджиширзи, професор във вашингтонския Университет и изследовател в Института за изкуствен интелект „Алън“, е част от екип, който наскоро разработи начин за проследяване на поведението на системата с оглед на отделните данни, върху които е била обучена. Но тъй като системите са обучени върху толкова големи количества данни – и тъй като могат да генерират почти всичко – този нов инструмент не може да обясни всичко. „Все още не знаем точно как работят тези модели“ — казва тя.

Тестове, проведени от независими компании и изследователи, показват, че нивото на халюцинации се увеличава и при моделите за разсъждение от компании като Google и DeepSeek.

От края на 2023 г. компанията на г-н Авадала, Vectara, проследява колко често чатботовете се отклоняват от истината. Компанията изисква от тези системи да изпълняват проста задача, която е лесна за проверка: да обобщават конкретни новинарски статии. Дори тогава чатботовете непрекъснато измислят информация.

Според първоначалното проучване на Vectara, в тази ситуация чатботовете са изфабрикували информация поне в 3 процента от случаите, а понякога и до 27 процента.

В рамките на година и половина оттогава, компании като OpenAI и Google намалиха тези цифри до 1 или 2 процента. Други, като например стартъпа от Сан Франциско Anthropic, се движеха около 4 процента. Но нивото на халюцинации в този тест се увеличи поради системното мислене. Мисловната система на DeepSeek, R1, халюцинира в 14,3% от случаите. Резултатът на o3 от OpenAI се повиши до 6.8.

В продължение на години компании като OpenAI разчитаха на една проста концепция: колкото повече интернет данни въвеждаха в своите системи за изкуствен интелект, толкова по-добре се представяха тези системи. Но те използваха почти целия английски текст в интернет, което означаваше, че се нуждаеха от нов начин за подобряване на своите чатботове.

Така че тези компании разчитат повече на техника, която учените наричат ​​обучение с подсилване. Чрез този процес системата може да се научи на поведение чрез проба и грешка. Работи добре в определени области, като математика и компютърно програмиране. Но в други случаи това се проваля.

„Начинът, по който тези системи се учат, е, че започват да се фокусират върху една задача — и започват да забравят за останалите“ — казва Лаура Перес-Белтрачини, изследовател в единбургския Университет, която е част от екип, който изучава отблизо проблема с халюцинациите.

Друг проблем е, че моделите на разсъждение са проектирани да прекарват време в „обмисляне“ на сложните проблеми, преди да се спрат на отговорите. Опитвайки се да решат проблема стъпка по стъпка, те рискуват да халюцинират на всяка стъпка. Грешките могат да станат по-сериозни, тъй като прекарват повече време в мислене.

Най-новите ботове показват на потребителите всяка стъпка, което означава, че потребителите могат да видят и всяка грешка. Изследователите също така установиха, че в много случаи стъпките, показани от бота, не са свързани с отговора, който в крайна сметка предоставя.

„Това, което една система твърди, че мисли, не е непременно това, което всъщност мисли“ — каза Арьо Прадипта Гема, изследовател на изкуствения интелект в единбургския Университет и научен сътрудник в Anthropic.