Учени откриха, че ChatGPT все повече затъпява

Учени съобщиха за още един проблем, който може да преследва чатботове, базирани на платформи с изкуствен интелект (ИИ) – това явление се нарича „drift“ и отразява деградацията на интелигентността на системата.

ChatGPT, който дебютира миналата година направи революция в областта на изкуствения интелект, но проучване, публикувано от учени от Станфордския и Калифорнийския университет посочва нов проблем на изкуствения интелект: Уменията на ChatGPT са се влошили при изпълнението на някои елементарни математически операции. Опитът да се подобри една част от сложен модел на ИИ води до влошаване на състоянието на други области на модела, а това, отбелязват изследователите, значително усложнява непрекъснатото усъвършенстване на системите с ИИ.

Учените стигнали до това заключение, когато тествали двата езикови модела GPT – 3.5, който е достъпен за всички безплатно и 4.0, който може да се използва само с платен абонамент. На чатбота била дадена елементарна задача: да определи дали дадено число е просто. Простото число е естествено число, което се дели само на едно и на самото себе си. Ако числото е достатъчно голямо, то човек не може да прецени дали е просто на ум, но компютърът може да се справи с тази задача по метода на грубата сила: да провери делимостта му на 2, 3, 5 и т.н. Тестът се основава на извадка от 1000 числа. През март GPT-4, достъпен с премиум абонамент даваше верни отговори в 84% от случаите, което е съмнителен резултат за компютър, но до юни процентът на верните отговори спадна до 51%.

Като цяло GPT-4 показа по-лоши резултати в 6 от 8-те му дадени задачи. GPT-3.5 показа напредък в 6 задачи, но в повечето от тях остана по-слаб от своя усъвършенстван аналог. Увеличаването на броя на грешните отговори беше отбелязано от много потребители и според заключенията на учените от Станфорд и Бъркли това не са субективни усещания – влошаването е подкрепено с данни.

Все пак, не става дума за пълно влошаване на моделите с изкуствен интелект: в редица тестове GPT-3.5, който по принцип е по-малко точен, показа напредък, докато GPT-4 влоши резултатите си. В допълнение към математическите задачи изследователите са предложили на чатботовете да отговорят на 1500 въпроса. И ако през март чатботът, базиран на GPT-4 е отговорил на 98% от въпросите, то през юни той е отговорил само на 23% от тях, като често отговорите му са били твърде кратки: изкуственият интелект е заявил, че въпросът е субективен и той няма собствено мнение.