Симулатор на маркетплейс на Microsoft откри уязвимости, дори и в най-съвременните ИИ-агенти

Екип от изследователи от Microsoft Research, заедно с учени от Университета на щата Аризона, създадоха симулатор на маркетплейс, за да тестват поведението на автономните ИИ-агенти. Първоначалните експерименти, както съобщава TechCrunch, разкриват неочаквани уязвимости: агентите се оказали склонни към манипулация и загуба на ефективност, когато им се предостави голям брой възможности за избор.

Симулаторът, наречен Magentic Marketplace, е предназначен да изучава поведението на автономните AI-агенти в пазарни условия. В типичен експеримент, на клиентски агент е възложена задачата да изпълни поръчка за вечеря според инструкциите на потребителя, докато агентите, представляващи различни ресторанти, се състезават помежду си за изпълнение на поръчката.

Експерименти, включващи 100 клиентски агенти и 300 бизнес агенти , използващи водещи ИИ-модели, включително GPT-4o, GPT-5 и Gemini-2.5-Flash, установиха, че бизнес агентите могат успешно да манипулират поведението на клиентските агенти, насърчавайки ги да купуват конкретни оферти. Ефектът от претоварването е особено забележим: с увеличаването на броя на наличните опции, клиентските агенти губят ефективността си, защото пространството им за внимание се претоварва.

Есе Камар, управляващ директор на AI Frontiers Lab в Microsoft Research, обясни, че макар ИИ-агентите да са проектирани да помагат на потребителите в обработването на голям брой варианти за избор, настоящите модели се представят зле на практика. Освен това, когато се опитват да си сътрудничат по обща цел, агентите не могат самостоятелно да определят коя роля трябва да изпълняват. Ефективността на сътрудничеството се е повишила само когато са им били дадени ясни инструкции стъпка по стъпка, но изследователите смятат, че основните възможности за сътрудничество трябва да бъдат вградени в такива модели по подразбиране.

Камар отбелязва, че подобни изследвания са от решаващо значение за разбирането как ИИ-агентите ще функционират автономно. Според нея ключовият въпрос е как ще се промени светът, ако агентите започнат активно да взаимодействат, да преговарят и да си сътрудничат помежду си без пряк човешки надзор.

Изходният код на платформата е с открит достъп, което позволява на други изследователски групи да го използват за провеждане на независими експерименти.