Anthropic пусна специализиран ИИ модел за военната и разузнавателната общност

Anthropic представи нов продукт, специално предназначен за американските отбранителни и разузнавателни агенции. Моделите Claude Gov са лишени от строгите морални и етични ограничения и са в състояние да анализират по-добре класифицираната информация. Компанията заяви, че новите продукти „вече са внедрени от агенции на най-високите нива на националната сигурност на САЩ“ и че достъпът до тези модели ще бъде ограничен до службите, които обработват класифицирана информация.

Според The Verge моделите Claude Gov са специално разработени за уникална обработка на правителствените заявки, по-конкретно за оценка на заплахите и разузнавателен анализ. И макар че според компанията те „са преминали през същите строги тестове за сигурност като всички наши модели Claude“, те имат някои особености за работа в областта на националната сигурност. Така например, за разлика от основните Claude модели, те не са толкова придирчиви, когато взаимодействат с класифицирана информация.

Според Anthropic моделите Claude Gov имат по-добро разбиране на документите и контекста на отбраната и разузнаването, както и отлично владеят езиците и диалектите, свързани с националната сигурност.
Използването на изкуствен интелект от правителствените агенции е в центъра на вниманието на защитниците на правата на човека. Опитът с използването на прогнозни алгоритми в правоприлагащите и социалните агенции на САЩ показва висок риск от неправомерни арести, пристрастия и дискриминация срещу определени групи лица. Доскоро големите ИТ компании избягваха да разработват продукти за военната и разузнавателната общност.

Основната политика на Anthropic за използване на изкуствен интелект изисква от потребителите да не използват модели за създаване или улесняване на обмена на „незаконни или строго регулирани оръжия или стоки“, включително да не използват продуктите или услугите на Anthropic за „производство, модифициране, проектиране, продажба или разпространение на оръжия, експлозиви, опасни материали или други системи, предназначени да причиняват вреда или загуба на живот“.

Преди около година обаче компанията въведе редица изключения от политиката си за използване на продукти за няколко „внимателно подбрани правителствени агенции“. Някои неща – като например кампании за дезинформация, разработване или използване на оръжия, системи за цензура и злонамерени кибероперации – ще останат забранени. Но Anthropic може да реши да „адаптира ограниченията към бойната мисия и правните правомощия на правителствения орган“, придържайки се към намерението да угоди на клиента и желанието да запази репутацията си.

Моделът Claude Gov е отговорът на Anthropic на ChatGPT Gov, продукт на OpenAI, създаден за американските правителствени агенции, който беше представен през януари.

Новият модел на Anthropic, Claude Opus 4, може да изнудва инженерите по време на тестовете, като ги заплашва да разкрие личните им тайни, например изневяра. Така реагираше, ако предстоеше да бъде заменен с нова система. Поведението на изкуствения интелект беше счетено за тревожно и Anthropic въведе засилени протоколи за сигурност.