Математици разработиха предизвикателни задачи, за да тестват мисленето на Gemini, Claude и GPT-4o – провалиха се на почти всички тестове

Най-съвременните модели на изкуствен интелект са решили само 2% от сложните математически проблеми, разработени от водещи световни математици.

Изследователският институт Epoch AI представи новия набор от тестове FrontierMath, който изисква математически познания на докторско ниво. Професорите по математика, по-специално носителите на Филдсов медал, бяха включени в разработката. Решаването на такива задачи може да отнеме на докторантите математици от няколко часа до дни.

Ако в предишни тестове MMLUAI моделите успешно решаваха 98% от математическите задачи на училищно и университетско ниво, то при новите задачи ситуацията е коренно различна.

„Тези задачи са изключително трудни. Понастоящем могат да бъдат решени само с помощта на специалист в тази област или с помощта на завършил студент в сродна област, съчетано със съвременни AI и други алгебрични инструменти” — каза лауреатът на Филдсов медал за 2006 г. Терънс Тао.

В изследването са тествани шест водещи AI-модела. Gemini 1.5 Pro (002) от Google и Claude 3.5 Sonnet от Anthropic показаха най-добър резултат — 2% правилни отговори. Моделите o1-preview, o1-mini и GPT-4o от OpenAI се справиха с 1% от задачите, а Grok-2 Beta от xAI не е решил нито една задача.

FrontierMath обхваща различни области на математиката — от теория на числата до алгебрична геометрия. Всички тестови задачи са достъпни на сайта на Epoch AI. Разработчиците са създали уникални задачи, които не се намират в данните за обучение на AI-​​моделите.

Изследователите отбелязват, че дори когато моделът е дал правилния отговор, това не винаги показва правилността на разсъжденията — понякога резултатът може да бъде получен чрез прости симулации без дълбоко математическо разбиране.