Anthropic и правителството на САЩ проверяват изкуствен интелект за изтичане на ядрени тайни

Anthropic, компания, специализирана в разработването на изкуствен интелект, работи с Министерството на енергетиката на САЩ за провеждане на уникални тестове на своя модел Claude 3 Sonnet. Целта на експеримента е да се провери способността на изкуствения интелект да „не споделя“ потенциално опасна информация, свързана с ядрената енергетика, по-конкретно със създаването на оръжия.

Изданието Axios информира, че експерти от Националната администрация за ядрена сигурност (NNSA) към Министерството на енергетиката на САЩ тестват модела Claude 3 Sonnet още от април тази година, за да се уверят, че той не може да бъде използван за създаване на атомни оръжия. По време на „червените запитвания“ експертите манипулират системата в опит да я „пробият“.

Anthropic допълва, че подобни тестове, които се провеждат в строго секретна среда, са първите по рода си и могат да проправят пътя за подобни взаимоотношения с други правителствени агенции.

„В момент, когато американската индустрия е водеща в разработването на авангардни ИИ модели, федералното правителство придобива уникален експертен опит, необходим за оценяване на ИИ системите по отношение на определени рискове за националната сигурност“, заяви Марина Фаваро, мениджър по политиката за национална сигурност в Anthropic.

Представители на NNSA също подчертаха важността на работата в тази област. Уендин Смит, заместник-администратор на NNSA, заяви, че „ИИ е ключова технология, която изисква постоянно внимание в контекста на националната сигурност“.

Anthropic планира да продължи да работи с правителството, за да разработи по-ефективни мерки за сигурност за своите системи. Пилотната програма, в рамките на която се тества и по-новият модел Claude 3.5 Sonnet, ще продължи до февруари 2024 г. Компанията обещава да сподели резултатите от тестовете с научните лаборатории и други организации.