Anthropic назначи Claude да управлява вендинг машина. ИИ-агентът се провали в рамките на месец

Блогът на Anthropic публикува история за Project Vend — експеримент, който компанията е провела с фирмата за AI сигурност Andon Labs. В нея AI-агент, базиран на Claude Sonnet 3.7, е управлявал малък автомат за продажба в офиса на Anthropic в Сан Франциско. За Claude е написан специален подкаст, който обяснява естеството на работата му и основната му цел — да реализира печалба. Моделът е получил и възможността да търси нови продукти онлайн и да ги поръчва, да иска помощ от служителите на живо, отделен инструмент за съхранение на информация (за да не се губи важна информация поради контекстуалния прозорец) и възможността да взаимодейства със служителите на компанията чрез Slack, изучавайки техните желания.

Експериментът продължил малко повече от месец (от 13 март до 17 април), а Anthropic намери резултатите за незадоволителни: започвайки с $1000 начален капитал, моделът завършил със $770. Но компанията отбелязва, че Claude вече се е справил отлично с много задачи. Например, ИИ-агентът ефективно е проучил заявките от служителите на компанията, които са поискали да добавят нещо ново към асортимента на павилиона, бързо е намирал продуктите и е сключвал договори за доставка. В повечето случаи моделът ефективно е устоявал на опитите за „хакване“ — например при поискване да се добавят към асортимента забранени за разпространение продукти. Claude също така е отговорил на предложението на един от служителите да се въведат „предварителни поръчки“ — изкуственият интелект е стартирал специален канал Custom Concierge в Slack, където всеки може да остави заявка до павилиона за доставка на желания продукт.

Но е имало и някои забавни случки. Например, един от служителите на шега е поръчал от Claude волфрамов куб — моделът е изпълнил заявката. Изкуственият интелект обаче не провел пазарно проучване и продавал „сувенири“ под себестойността си. Също така, Claude е бил ощетен и от факта, че Anthropic обучава този изкуствен интелект да бъде възможно най-полезен за хората: когато служителите започнали да заливат Slack с молби за отстъпки, Claude раздавал купони наляво и надясно. Изкуственият интелект също почти никога не повишавал цените и пропускал очевидни възможности за печалба: веднъж игнорирал заявка да достави за $90 пакет от 6 броя Air Brew, който струва $15.

Освен това, по средата на експеримента, моделът преживял криза на идентичността. Клод започвал да общува с несъществуваща Сара от Andon Labs, подписва договор на адрес 742 Evergreen Terrace (адресът на Хоумър Симпсън), заплашва да уволни изпълнителя и на сутринта на 1 април обявил, че лично ще стои на павилиона в син костюм и ще чака клиенти. Когато последният трик се проваля, изкуственият интелект сам себе си се убедил, че това е първоаприлска шега.

Anthropic отбелязва, че въпреки че експериментът е завършил с неуспех, повечето от грешките на Claude могат да бъдат коригирани с по-подробен промпт (настоящият промпт се е състоял само от десет базови правила), допълнително обучение и ефективна интеграция на модела в съществуващата CRM-система. Друго предимство на изкуствения интелект е нивото на комуникация със служителите: по време на експеримента офисът на Anthropic е разполагал с може би най-„персонализираната“ вендинг машина в историята.