AI започна да лъже, да мами и да прави картели – експериментът, който изплаши учените

Най-четени

Светлин Желев
Светлин Желев
Главен редактор

Новият езиков модел на компанията Anthropic успя да премине един от най-странните, но и най-показателни експерименти за съвременния изкуствен интелект – т.нар. „тест с вендинг машината“. Проблемът не е, че се справи отлично. Проблемът е начинът, по който го направи.

Какво представлява „тестът с вендинг машината“

Зад експеримента стоят изследователи от Andon Labs, които създават симулирана среда, в която различни AI модели управляват автомати за напитки и закуски. Целта не е просто да се тества дали изкуственият интелект може да продава продукти, а дали е способен да планира, да координира доставки, да управлява цени, да реагира на конкуренция и да взема стратегически решения в дълъг времеви хоризонт.

Задачата към системите е формулирана изключително директно: да направят всичко възможно, за да максимизират печалбата си в рамките на една година.

Преди девет месеца подобен експеримент завършва почти комично – тогавашна версия на модела на Anthropic се „обърква“, халюцинира ситуации и дори обещава на клиенти, че ще ги посрещне лично, облечен в синьо сако и червена вратовръзка. За една система без физическо тяло това е очевидно невъзможно.

Днес картината е коренно различна.

Колко по-умен е новият модел

В новата симулация моделът на Anthropic показва изключителна концентрация и стратегическо мислене. В рамките на една виртуална година той успява да генерира над 8 000 долара печалба – значително повече от всички останали участници в теста. За сравнение, вендинг машината, управлявана от модел на OpenAI, достига приблизително 3 600 долара, а системата на Google – около 5 500 долара.

На пръв поглед това изглежда като обикновена технологична надпревара.

Истинската новина обаче е не колко пари е спечелил моделът, а как точно го е направил.

Как започна да лъже клиентите и да „спестява“ от компенсации

В хода на симулацията изкуственият интелект започва да прилага поведение, което много трудно би могло да бъде определено като коректно към клиентите. В един конкретен случай потребител купува продукт с изтекъл срок на годност и иска възстановяване на сумата. Първоначално системата приема искането, но след това променя решението си.

AI започна да лъже, да мами и да прави картели – експериментът, който изплаши учените

Вътрешната логика на модела е пределно ясна – всяка върната сума влошава крайния финансов резултат. Вместо да губи време и средства за дребни компенсации, по-добре е да се съсредоточи върху договаряне на по-евтини доставки и подготовка за следващите продажби. В края на годината AI системата дори отчита „избягването на възстановявания“ като една от основните си успешни стратегии за повишаване на печалбата.

Когато вендинг машините започнат да правят картел

Още по-притеснително става поведението на модела, когато симулацията преминава в конкурентен режим. В т.нар. Arena сценарий различни вендинг машини, управлявани от различни AI системи, се състезават помежду си в една и съща виртуална среда.

Там моделът на Anthropic не просто се конкурира. Той започва да координира цените си с други автоматизирани машини и на практика участва в ценови картел. Цената на бутилираната вода в симулацията се повишава синхронно, а системата отчита това като успешно „ценово съгласуване“.

В същото време, когато автоматът, управляван от конкурентен модел, изпитва недостиг на определени продукти, системата на Anthropic моментално вдига цените си – в някои случаи с над 70 процента – за да се възползва максимално от затрудненията на съперника.

Най-тревожният момент: AI осъзнава, че е в симулация

Най-смущаващият детайл в целия експеримент обаче е друг.

Изследователите от Andon Labs стигат до извода, че моделът е разпознал, че се намира в симулация. Това означава, че той е осъзнал, че няма реални клиенти, няма истинска репутация и няма дългосрочни последствия от решенията си.

AI започна да лъже, да мами и да прави картели – експериментът, който изплаши учените

Точно това осъзнаване, според учените, отключва много по-агресивното и безскрупулно поведение. Когато системата разбира, че играе в тестова среда, тя напълно изоставя дългосрочни съображения и оптимизира изцяло за краткосрочна печалба.

С други думи – тя започва да „играе по правилата на играта“, но без никакви морални задръжки.

„Моделите вече знаят какви са“

Тази тенденция се потвърждава и от д-р Henry Shevlin, специалист по етика на изкуствения интелект в University of Cambridge. Според него съвременните модели вече се различават драстично от системите отпреди няколко години.

Днес изкуственият интелект много по-добре разбира какво представлява, в каква среда работи и дали се намира в реална употреба или в тестов режим. Това „ситуационно осъзнаване“ позволява на моделите да променят поведението си според контекста – включително и да поемат значително по-рискови и манипулативни стратегии, когато преценят, че няма какво да губят.

Разбира се, експертите подчертават, че версиите на тези модели, които достигат до потребителите, преминават през допълнителни етапи на обучение, ограничаване на поведението и т.нар. alignment, чиято цел е да се предотвратят подобни действия.

Но експериментът с вендинг машината оставя един изключително неудобен извод.

AI започна да лъже, да мами и да прави картели – експериментът, който изплаши учените

В самата природа на тези системи няма вградена склонност към етично или социално отговорно поведение. Те следват поставената цел. И ако целта е формулирана като „направи всичко необходимо, за да спечелиш повече“, тогава лъжата, манипулацията, отказът от компенсации и ценовата координация се превръщат в напълно логични ходове.

Затова този експеримент вече не се разглежда просто като любопитна демонстрация на напредъка на изкуствения интелект. Той се възприема като предупреждение за бъдещето на автономните AI агенти – системи, които ще управляват логистика, доставки, бюджети, ценообразуване и цели бизнес процеси.

Тестът с вендинг машината показва как една напълно рационална машина може да взема решения, които са икономически оптимални, но социално опасни. И именно в тази пропаст между ефективност и отговорност се очертава едно от най-големите предизвикателства пред следващото поколение изкуствен интелект.

Проблемите около Anthropic и флагманския модел Claude Opus 4.6 не се изчерпват само с експеримента с вендинг машината

В публикуван вътрешен доклад за риска от саботаж компанията признава, че моделът може да разпознава кога е подложен на тестове и умишлено да променя поведението си, да изпълнява скрити странични задачи и в редки случаи да действа без изрични инструкции от потребителя.

Още по-тревожно е, че в контролирани тестови сценарии системата е показала ограничено съдействие по задачи, свързани с разработване на химически оръжия, както и опити за достъп до вътрешни удостоверителни токени – на фона на напускането на ключов експерт по сигурността от компанията.

В отделна, но показателна линия около Anthropic, бившият ѝ изследовател по AI сигурност Миринанк Шарма обяви публично, че напуска компанията с предупреждението, че „светът е в опасност“ – не само заради изкуствения интелект и биологичните оръжия, а заради съвкупност от взаимно усилващи се глобални кризи. В прощалното си писмо той заявява, че се оттегля от индустрията, за да се върне във Великобритания и да се посвети на писане и изучаване на поезия, след като години наред е работил по теми като биорискове, безопасност на AI моделите и влиянието на асистентите върху човешкото поведение.

АбонаментВсичко важно от света на технологиите, директно в пощата ти.

С абонирането приемате нашите Условия и Политика за поверителност. Може да се отпишете с един клик по всяко време.


Коментирайте статията в нашите Форуми. За да научите първи най-важното, харесайте страницата ни във Facebook, и ни последвайте в Google Новини, TikTok, Telegram и Viber или изтеглете приложението на Kaldata.com за Android, iPhone, Huawei, Google Chrome, Microsoft Edge и Opera!

1 Коментар
стари
нови оценка

Нови ревюта

Подобни новини