Deep Research на OpenAI постигна рекорден резултат в най-трудния тест за оценка на ИИ

Преди по-малко от две седмици експерти в областта на изкуствения интелект представиха изключително сложния тест „Humanity’s Last Exam“, предназначен за оценка на усъвършенствани невронни мрежи. Списъкът на лидерите в този тест беше оглавен от два проекта на OpenAI: o3-mini и Deep Research.

Сравнителният тест, създаден от експерти от цял свят съдържа изключително трудни въпроси и задачи за знания и разсъждения – дори някои хора не могат да разберат някои от въпросите в него, камо ли да отговорят на тях.

Малко след пускането му DeepSeek R1, ИИ-моделът, способен да разсъждава оглави списъка на лидерите с 9,4% верни отговори. Той беше изпреварен от o3-mini на OpenAI с 10,5% и o3-mini-high с 13%- последният наистина е по-мощен, но и по-бавен.

Най-впечатляващ обаче беше резултатът, показан от ИИ-агента Deep Research на компанията – той постигна 26,6 %, като по този начин надмина предишния рекордьор за по-малко от 10 дни.

Сравнението не е съвсем правилно, тъй като Deep Research има способността да търси информация, която липсва на традиционните ИИ-модели, а в случая с Humanity’s Last Exam тази способност е от решаващо значение, защото някои от въпросите са насочени към проверка на знанията. Въпреки това системите с ИИ непрекъснато подобряват резултатите си и това може да ви кара да се чудите кога някоя от тях ще издържи изпита с най-добър резултат. Deep Research на OpenAI е изключително мощен инструмент, предназначен да работи като личен анализатор. Той провежда проучвания, съставя доклади и подготвя отговори, които биха отнели часове на истински човек.

Humanity’s Last Exam е отличен критерий, който ще се окаже безценен при развитието на ИИ-моделите и ще ни позволи да преценим докъде са стигнали. Колко време ще трябва да чакаме, за да видим ИИ да премине границата от 50%? И кой модел ще бъде първият, който ще го направи?