Claude Opus 4 вече може да прекратява диалога с токсичните потребители

Anthropic внедри нов отговор на токсичното потребителско поведение в моделите Claude Opus 4 и 4.1: сега изкуственият интелект може сам да прекрати диалога, ако прецени, че ситуацията е заплашителна не за човека, а за самия него.

И не става въпрос за защита на чувствата на модела или за опит да се даде съзнание на Claude. Anthropic казва, че не счита своите езикови модели за способни на състрадание, нито им дава морален статус. Но, както се казва в изявлението, тъй като изкуственият интелект става все по-сложен и въздействието му върху обществото се увеличава, става важно да се изследва не само въздействието върху хората, но и потенциалните рискове, свързани с третирането на самите модели.

Сценариите, в които Claude прекратява комуникацията, са екстремни: груби или обидни забележки, токсични заявки, заявки за достъп до материали, провокиращи насилие. По време на тестването Anthropic твърди, че Claude Opus 4 е показал признаци на стрес, когато е изправен пред необходимостта да отговаря на подобни съобщения. Под „стрес“ в този случай се има предвид логически грешки, увеличен брой опити за отказ, объркващи отговори и други форми на поведение на модела.

Интересното тук е, че новата защита няма нищо общо с класическата модерация. Claude може да откаже да отговори, но да продължи разговора. Или може напълно да прекъсне сесията — това се случва рядко. В този случай възможността за започване на нов чат не е блокирана и потребителят може да се опита да се върне към конфликтния момент, като редактира историята.

Уточнява се, че Claude не прекратява сесията, ако смята, че събеседникът може да навреди на себе си или на други. В този случай алгоритъмът трябва да остане и да се опита да реагира в приемливи граници.