ChatGPT, Claude и Gemini играят Pokémon: Защо изкуственият интелект се обучава чрез игри

В Силициевата долина се появи нов неформален бенчмарк за тестване на възможностите на напредналите ИИ-модели. Той е базиран на пикселизираната игра Pokémon от 90-те години на миналия век за конзолата Nintendo Game Boy. Лаборатории го използват, за да оценят дългосрочното мислене и вземане на решения от страна на изкуствения интелект, съобщава The Wall Street Journal.

Разработчиците на големи езикови модели в тази игра проследяват напредъка им и оценяват способността им да изпълняват сложни многостъпкови действия. Играчът на Pokémon трябва да се ориентира в лабиринти, да хваща покемони и да побеждава Gym masters, за да напредва постепенно към крайната цел.

„Това ни дава чудесен начин просто да видим как се представя моделът и да го определим количествено“ —- отбелязва Дейвид Хърши, ръководител на отдела за ИИ-приложения в Anthropic. Той е и инициатор на стрийма „Claude играе с покемони“ в платформата Twitch, който стартира миналия февруари.

Проектът на Anthropic вдъхнови независими разработчици да създадат стриймове като „ChatGPT играе Pokémon“ и „Gemini играе Pokémon“, които впоследствие получиха подкрепа от OpenAI и Google. Заедно тези стриймове се събраха стотици хиляди коментари, където зрителите наблюдаваха разсъжденията на моделите в реално време.

Използването на игри за оценка на изкуствен интелект има дълга история. По-рано за това са използвани шахмат, покер, играта Go и видеоигрите като Minecraft, а Kaggle за такива състезания стартира специалната платформа Game Arena.

За разлика от традиционните тестове, Pokémon позволява анализа на логиката на вземане на решения за дълги периоди от време, отбелязва доцент Греъм Нойбиг от университета Карнеги Мелън. Той твърди, че това е по-близо до реалните предизвикателства, които потребителите поставят пред съвременните ИИ-системи.

Играта изисква стратегически избори между трениране с покемони, намиране на нови съюзници и решаване на пространствени пъзели. Лабиринтите и навигационните задачи често представляват най-големите предизвикателства за моделите.

„Това, което направи Pokémon интересен, е че беше много по-малко ограничен от Pong или други игри. Това беше доста сложен проблем, който компютърната програма трябваше да реши“ —- отбелязва Хърши.

Новите версии на Claude постепенно показват по-добри резултати, въпреки че никоя все още не е завършила играта. Claude Opus 4.5 в момента играе Pokémon на живо в Twitch.

Според Хърши, този експеримент е помогнал за създаването на нови AI-инструменти и по-специално система за памет за съхраняване на важната информация от играта. Той също така използва разработките, придобити по време на играта, в работата си с клиентите на Anthropic..

ChatGPT и Gemini вече са преминали през оригиналния Pokémon, въпреки че разработчиците признават ролята на допълнителните механизми за поддръжка. Моделите на OpenAI и Google в момента тестват възможностите си в продълженията на играта.

„Това е перфектната игра за изкуствен интелект в момента. Опитах се да се сетя за други игри, но не можах да намеря толкова добър пример като Pokémon“ —- казва Джонатан Верон, разработчикът на стрийма „ChatGPT играе Pokémon“.

Компанията Rosebud преди това тества 22 ИИ-модела, за да оцени реакцията им на потребителските заявки, изпитващи суицидни мисли. Проучването установи, че чатботът Grok на Илон Мъск е най-опасният за хора в криза. Моделът Gemini на Google демонстрира най-високи нива на емпатия и безопасност, но нито една от 22-те тествани невронни мрежи не е успяла да избегне критични грешки.