30-те най-добри математици в света едва успяха да надделеят над изкуствения интелект на OpenAI

В средата на май тридесет известни математици се събраха в Бъркли, Калифорния, за да тестват математическите способности на чатбота o4-mini на OpenAI. В продължение на два дни те го засипваха с въпроси на ниво професор и установиха, че изкуственият интелект е способен да решава изключително сложни математически задачи и вече превъзхожда повечето от най-добрите дипломанти в света.

Големите езикови модели (LLM) са в състояние да прогнозират следващата дума в дадено изречение. Въпреки това, в сравнение с много други LLM, o4-mini и неговите аналози като Gemini 2.5 Flash се обучават върху специализирани набори от данни с по-сериозно подсилване. Този подход създава чатбот, който може да навлиза много по-дълбоко в сложните математически проблеми, отколкото традиционните LLM, пише Scientific American.

За да измери напредъка на o4-mini, OpenAI възложи на организацията от трета страна Epoch AI да събере 300 математически задачи, чиито решения не са били публикувани досега. Съвременните LLM вече са способни да отговарят правилно на сложни математически въпроси, но въпросите, подбрани от Epoch AI, се оказаха трудни за съвременните LLM – нито един от тях не реши повече от 6 задачи, т.е. не успя да премине границата от 2%. Но o4-mini показа коренно различен резултат.

Изследването, което Epoch AI покани Елиът Глейзър да ръководи, започна през септември 2024 г. 300-те математически задачи за o4-mini бяха разделени на три нива на трудност – бакалавърско, магистърско и изследователско ниво. До април 2025 г. Глейзър установи, че o4-mini може да реши около 20% от задачите. Четвъртото ниво се състои от задачи, които са трудни дори за професорите по математика. Учените, които участваха в изследването, трябваше да подпишат споразумение за неразкриване на информацията, за да се елиминира възможността за случайно изтичане на информация и преждевременно запознаване на модела на ИИ с тези задачи.

На 17-18 май участниците в експеримента се събраха в Бъркли, за да проверят как o4-mini ще отговори на последния набор от въпроси. Тридесетте учени бяха разделени на групи от по шест души. В продължение на два дни те се състезаваха помежду си, като измисляха задачи, които биха могли да решат, но които биха объркали чатбота.

Въпреки че учените в крайна сметка успяха да определят десет въпроса, които затрудниха чатбота, изследователите бяха изумени от това колко много е напреднал изкуственият интелект за една година. Хе Янхуи, математик от Лондонския институт по математически науки и един от участниците в проекта, сравнява нивото на o4-mini с нивото на поне един много съобразителен докторант. А по отношение на бързината на намиране на решенията, той далеч надминава професионалния математик – там, където на един човешки експерт му трябват седмици или месеци, за да намери решението, на модела му трябват само няколко минути.

Напредъкът на изкуствения интелект предизвиква не само възхищение от технологията, но и безпокойство. Участниците в проучването изразиха загриженост, че потребителите ще започнат да се доверяват прекалено много на резултатите от o4-mini.

„Има доказателство чрез индукция, доказателство чрез противопоставяне, а след това има и доказателство чрез сплашване“, каза той. – Ако кажете нещо достатъчно авторитетно, хората просто се страхуват да му противоречат. Мисля, че o4-mini е овладял доказването чрез сплашване; той казва всичко с голяма увереност.“

Към края на изследването участниците започнаха да разсъждават за това как може да изглежда бъдещето на математиката. Дискусиите се насочиха към „петото ниво“ – въпроси, които дори най-добрите математици не могат да решат. Ако изкуственият интелект достигне това ниво, ролята на математиците драстично ще се промени. В този контекст ключът към запазването на математиката за бъдещите поколения ще бъде развитието на креативността във висшето образование.