ChatGPT продължава да затъпява – математическите му отговори са се влошили с 95,2%

Тричленен изследователски екип, състоящ се от Линджао Чен, Матей Захария и Джеймс Зоу, реши да провери как се променят производителността и точността на популярните в момента чатботове GPT-3.5 и GPT-4.

Проучването оценява представянето на моделите с изкуствен интелект за периода от март до юни 2023 г. в четири области: решаване на математически задачи, отговаряне на чувствителни/опасни въпроси, генериране на код и визуално разсъждение. Резултатите от проучването показват, че точността и производителността на гореспоменатите чатботове се променят с течение на времето. И то не към подобряване.

Така например през месец март 2023 г. чатботът CPT-4 е решил математическите задачи с точност от 97,6%. През юни тази цифра катастрофално се срива до 2,4%. От друга страна, точността на GPT-3.5 през юни се е увеличила в сравнение с резултатите му през март – от 7,4% до 86,8%.

През месец юни GPT-4 е по-малко склонен да отговаря на деликатни въпроси, отколкото през март. През този месец има и повече грешки при генерирането на сорс код. Тази констатация е вярна и за двата AI модела. Докато през март чатботът GPT-4 се справя с 50% от 50-те задачи на LeetCode, през юни ИИ успява да се справи само с 10%.

В резултат на това авторите на проучването твърдят, че уменията на чатботовете може силно да се променят за сравнително кратък период от време, така че е необходимо постоянно наблюдение на качеството на алгоритмите за изкуствен интелект.