Още преди да бъде официално представен GPT-4o счупи почти всички рекорди в класацията на chatbot под тайно име

Анонимният чатбот, който озадачи и разочарова експертите, е най-новият ИИ модел на OpenAI.

В понеделник водещият специалист на OpenAI Уилям Федъс потвърди в социалната мрежа X, че мистериозният чат-бот с изкуствен интелект, известен като „gpt-chatbot“, който е бил тестван в Chatbot Arena на LMSYS и е изнервил експертите, всъщност е наскоро обявеният модел на OpenAI с изкуствен интелект GPT-4o. Той също така разкри, че GPT-4o е оглавил класацията на Chatbot Arena, постигайки най-високия документиран резултат досега.

„GPT-4o е нашият нов модерен и авангарден модел. Тествахме версия в LMSys Arena под името im-also-a-good-gpt2-chatbot“, написа Федус в Twitter (сега Х).

Chatbot Arena е уеб сайт, в който посетителите разговарят с два произволни езикови модела с изкуствен интелект успоредно един до друг, без да знаят кой е моделът, след което избират кой модел дава най-добър отговор. Това е перфектен пример за базиран на сравнителен анализ на ИИ, както го нарича изследователят на ИИ Саймън Уилисън.

Моделите gpt2-chatbot се появиха през април и изданието ArsTechnica писа за това как липсата на прозрачност на процеса на тестване на изкуствен интелект в LMSYS разочарова специалистите по изкуствен интелект като Уилисън.

„Цялата ситуация е толкова вбесяващо представителна за изследванията на LLM“, каза той тогава пред Ars. „Напълно необявено, непрозрачно пускане и сега целият интернет паралелно провежда ненаучни „проверки на възможностите“.

В Arena компанията OpenAI тества няколко версии на GPT-4o, като моделът първо се появява като гореспоменатия „gpt2-chatbot“, след това като „im-a-good-gpt2-chatbot“ и накрая като „im-also-a-good-gpt2-chatbot“, който главният изпълнителен директор на OpenAI Сам Алтман споменава в загадъчен туит на 5-ти май.

След представянето на GPT-4o по-рано днес многобройни източници разкриха, че GPT-4o е оглавил вътрешните класации на LMSYS със значителна разлика, надминавайки предишните топ модели Claude 3 Opus и GPT-4 Turbo.

„gpt2-chatbots току-що се изкачи на върха, надминавайки всички модели със значителна разлика (~50 Elo). Той се превърна в най-силния модел, който някога е бил на Арената“, написа в своя профил в Х сайта lmsys.org, докато споделяше графиката. „Това е вътрешен скрийншот“, пише още там. „Неговата публична версия „gpt-4o“ вече е в Арената (The Arena) и скоро ще се появи в публичната класация!“

Към момента на писане на тази статия im-also-a-good-gpt2-chatbot има 1309 Elo срещу 1253 на GPT-4-Turbo-2023-04-09 и 1246 на Claude 3 Opus. Claude 3 и GPT-4 Turbo си оспорваха местата в класациите за известно време, преди да се появят трите gpt2-chatbots и да разтърсят ситуацията из основи.

Явно предстои истинска революция в сферата на изкуствения интелект. Можем да очакваме големи промени в информационните технологии, а и далеч не само там.