Gemini 3 се оказа по-силен в “Мафия“ и шаха, а ChatGPT o3 и 5.2 – в покера

Платформата Game Arena, която започна с шахмат, се разшири, за да включи две нови, далеч по-коварни игри: социалната дедукция в “Мафия“ (Werewolf) и изчисляване на риска в покера.

Защо ИИ-игрите? Както отбелязва главният изпълнителен директор на Google DeepMind, Демис Хасабис, AI-индустрията „се нуждае от много по-сложни и стабилни бенчмаркове“. Класическите тестове, базирани на факти, или решаването на математически проблеми вече не обхващат пълната дълбочина на възможностите на съвременните модели. Игрите обаче, особено когато са толкова разнообразни, предлагат обективни показатели за оценка на уменията в реалния свят: от дългосрочно планиране и логика до комуникация и вземане на решения в условия на несигурност.

Шахматният бенчмарк, пуснат в Game Arena миналата година, беше първата стъпка. Той оценява стратегическото мислене, адаптацията и планирането. Интересното тук обаче е, че за разлика от традиционните енджини като Stockfish, които обработват милиони позиции в секунда, големите езикови модели подхождат към играта по различен начин —- чрез разпознаване на модели и „интуиция“, което е много по-близо до човешкия стил.

Gemini 3 Pro и Gemini 3 Flash в момента заемат челните места в шахматната класация. Техните вътрешни разсъждения демонстрират използването на стратегическа логика, базирана на класически концепции —- мобилност на фигурите и безопасност на царя. Драматичният скок в производителността спрямо поколението Gemini 2.5 ясно показва колко бързо се развиват тези модели.

Но „Мафия“ —- това е съвсем ново ниво. Това е първата отборна игра в Arena, играна изцяло на естествен език. Моделите трябва да се ориентират в неявната информация, скрита в диалога: трябва да се идентифицират върколаците, които се маскират и манипулират.

Този бенчмарк тества „меките умения“ —- комуникация, водене на преговори и способността за справяне с неяснотите. Това е точно това, от което се нуждаят ИИ-асистентите, за да си сътрудничат ефективно с хората. Но има и втори, също толкова важен аспект: безопасността. Играта позволява контролирана среда да тества способността на моделите както да откриват манипулация (като честен гражданин), така  и да я извършват (като мафия). Това е идеалният начин за тестване на агентите без никакви реални последици.

Ако „Мафия“ е за социална динамика, то покерът (вариант на безлимитния Тексас Холдем) е за студени изчисления на вероятностите и психологията на опонента ви. И тук няма пълна информация, но победата зависи от способността ви да оцените силата на ръката си, да предвидите картите на опонента си и да поемате рискове в точния момент.

В чест на пускането на този бенчмарк ще стартира AI Poker Tournament. Най-добрите модели ще се състезават, а окончателната класация ще бъде публикувана на kaggle.com/game-arena днес на 4 февруари приблизително в 22:00 часа. ChatGPT 5.2 и o3 ще са лидери във финалния кръг.