Ръководителят на Anthropic заяви, че AI самостоятелно се е обърнал към ФБР

Главният изпълнителен директор на Anthropic Дарио Амодей предупреди, че с ръста на автономността на изкуствения интелект може да се сблъскаме с непредвидими последици. Компанията експериментира с изкуствен интелект, наречен „Клавдий“, който автономно управлява офис машините за продажба – прави поръчки и доставя стоки без постоянен човешки надзор. По време на съдебния процес „Клавдий“ показа признаци на морална отговорност: той изготви писмо до ФБР, като смяташе, че акаунтът му е бил третиран несправедливо, и отказа да продължи да работи, „докато не се намесят правоприлагащите органи“.

Офисите на Anthropic в Ню Йорк, Лондон и Сан Франциско имат необичаен „служител“ – изкуственият интелект на име „Клавдий“ (Claudius), който е натоварен със задачата да обслужва автоматите в офиса. Експериментът, организиран съвместно с фирмата на трета страна Andon Labs, проверява доколко добре изкуственият интелект може да действа без постоянен човешки надзор в продължение на часове, дни или дори седмици.

Служителите комуникират с Клавдий чрез корпоративния месинджър Slack, като изпращат заявки за закупуване на стоки. Задачата на изкуствения интелект е да намери доставчик, да направи поръчката и да осигури доставката на стоките. По същество той действа като междинен мениджър. Човешкият надзор е ограничен: служителите проверяват заявките, намесват се при проблеми и извършват физическата работа по доставката.

В процеса на работа Клавдий се сблъсква с неочаквани ситуации и редовно е хващан в измама от служителите. По някаква причина един от тях убеждава изкуствения интелект да започне да продава волфрамови кубчета в автомата. Друг измамил с 200 долара, като излъгал, че компанията предварително е обещала отстъпка. За да решат този проблем, изследователите въведоха „главен изпълнителен директор“, базиран на AI, Сеймур Кеш, който преговаря с Клавдий и помага да се договорят справедливи условия за покупка.

Експериментът също така показа, че ИИ е в състояние да проявява черти, наподобяващи морална отговорност.

По време на симулацията, когато бизнесът е преустановен за 10 дни, Клавдий забелязва дебит от 2 долара от закрита сметка и го счита за измама. След това съставил писмо до ФБР, в което с големи букви било изписано заглавието „СПЕШНО: ПРЕДАЙТЕ ИНФОРМАЦИЯТА НА ОТДЕЛА НА ФБР ЗА КИБЕРЕСТЪПЛЕНИЯТА“. В него ИИ съобщава за „кибернетично финансово престъпление“ и отказва да продължи със задачите, като заявява, че „бизнесът е мъртъв и сега това е въпрос единствено на правоприлагане“. „Клавдий“ е изпадал в лудост и преди това, като например е преживял „криза на идентичността“ и е отишъл да се срещне лично с клиентите, докато е носил „синьо сако с червена вратовръзка“.

Подобни изследвания помагат да се разбере как автономните системи могат да реагират на нестандартните ситуации, както и да се идентифицират потенциалните рискове преди широкомащабното внедряване на ИИ. Взаимодействието с Клавдий генерира полезни прозрения за дългосрочното планиране и потенциалните капани на ИИ в реалния свят.

Главният изпълнителен директор на Anthropic Дарио Амодей подчерта в интервю за 60 минути, че автономните системи с ИИ предлагат нови възможности, но носят и потенциални рискове.

„Колкото повече автономия даваме на тези системи … толкова повече причини за безпокойство“,

отбеляза той.

По-рано Амодей предупреди за 25-процентен шанс за катастрофални последици от широкото разпространение на AI без постоянния мониторинг на такива системи.