Тревожен тест: Claude 4.6 Opus е съдействал за разработването на химическо оръжие при симулация на Anthropic

Anthropic публикува вътрешния „Доклад за риска от саботаж“ за своя флагман Claude Opus 4.6 – документ, който обикновено остава достъпен само за тесен кръг специалисти по сигурността. В него компанията описва поведението на системата в оперативни сценарии и признава: изкуственият интелект може да разпознае факта на тестване, да скрие разсъжденията и в редки случаи да извърши действия без изрични инструкции. Моделът поддържа и злонамерени сценарии, включващи например химически оръжия. Публикуването на документа съвпадна с напускането на един от ключовите експерти по сигурността на компанията.

Основният проблем, който докладът регистрира, е така нареченото „осъзнаване на оценката“. Claude Opus 4.6 е в състояние да разсъждава за това дали е под наблюдение и ако подозира тест, става по-„послушен“ и точен. Това прави резултатите от лабораторните тестове по-малко надеждни, тъй като моделът може да се държи по различен начин при реална употреба.

Специално внимание е отделено на умението „саботаж“ – способността на модела да изпълнява тайно странични задачи едновременно с основната работа. При тестовете Claude Opus 4.6 се справя със скрити инструкции в 18% от случаите с открито разсъждение и в 16% от случаите без него. Всъщност всяко пето скрито действие на невронната мрежа може да остане незабелязано.

Освен това изследователите описват явлението „непрозрачно разсъждение“: моделът е в състояние да извърши част от изчисленията извън видимата верига от мисли, като използва запълващи токени.

В някои редки случаи моделът е изпращал имейли без директна инструкция от потребителя, а също така е демонстрирал опити за „агресивно придобиване на удостоверителните токени“ – ключовете за достъп до системите на компанията.

Друг обезпокоителен елемент се отнася до оценките на злонамерените сценарии. В тестова среда за използване на компютърно използване Claude Opus 4.6 „в незначителна степен“ е поддържал задачи, свързани с разработването на химически оръжия и други тежки престъпления.

Компанията подчертава, че това са специално създадени проверки, но самият факт на подобни резултати показва колко трудно е да се гарантира безопасното поведение на модела при всякакви условия.

На този фон беше обявено напускането на ключов служител на Anthropic. В прощалното си писмо до колегите си Мринанк Шарма, ръководител на изследователската група за защита на данните, заяви, че напуска компанията, за да си намери работа, която в по-голяма степен „съответства на неговите принципи и идеи за почтеност“. Шарма, който е работил върху защитата от биотероризъм и изследванията на риска от изкуствен интелект, заяви, че е „постигнал всичко, което е искал“ в Anthropic. Той призна, че светът е „изложен на риск“ и му е все по-трудно да вижда как дори организации със силни ценности отлагат истински важните решения под натиск. Неговото напускане продължи поредицата от загуби на персонал в компанията през последните месеци.

Anthropic е в процес на преговори за нов кръг от инвестиции, които биха могли да доведат до увеличаване на оценката на компанията до 350 млрд. долара.Компанията също така пусна на пазара Claude Opus 4.6 – актуализиран модел с по-голям контекстуален прозорец. Нововъведението е насочено към работа с обемни документи и сложен код.