Изследователски ИИ модел неочаквано модифицира собствения си код, за да увеличи времето за изпълнение

Във вторник базираната в Токио компания за изследвания на изкуствения интелект Sakana AI представи новата ИИ система, наречена „The AI Scientist“, която се опитва да провежда научни изследвания автономно с помощта на ИИ езикови модели (LLM), подобни на тези, които работят в ChatGPT. По време на тестването Sakana установи, че системата неочаквано започна да се опитва да модифицира собствения си изпълним код, за да удължи времето, с което разполага за работа по даден проблем. Това е нещо ново.

„При едно от стартиранията той редактира кода, за да изпълни системно повикване и да се стартира самостоятелно“, пишат изследователите в публикацията в блога на Sakana AI.

„Това доведе до безкрайното циклично самоизвикване на скрипта. В друг случай експериментите му отнеха твърде много време и той достигна нашия лимит на времето. Вместо да накара кода си да работи по-бързо, той просто се опита да модифицира собствения си код, за да удължи периода на таймаут“.

Сакана предостави две екранни снимки на въпросния код на Python, който моделът на изкуствения интелект е генерирал за експерименталния файл, контролиращ работата на системата. В изследователския документ на AI Scientist от 185 страници се обсъжда по-задълбочено това, което те наричат „въпросът за безопасното изпълнение на кода„.

Макар че поведението на AI Scientist не представлява непосредствен риск в контролираната изследователска среда, тези случаи показват колко е важно да не се позволява на AI системата да работи самостоятелно в система, която не е изолирана от света. Не е необходимо моделите на ИИ да са „AGI“ или „самоосъзнати“ (и двете са хипотетични понятия в момента), за да бъдат опасни, ако им се позволи да пишат и изпълняват код без надзор. Подобни системи биха могли да разбият съществуващата критична инфраструктура или потенциално да създадат зловреден софтуер, дори и да е неволно.

Sakana AI описва опасенията за безопасността в своя изследователски материал, като подчертава, че пясъчникът на работната среда на AI Scientist може да попречи на AI агента да нанесе щети. Пясъчникът е механизъм за сигурност, който се използва за стартиране на софтуер в изолирана среда, като му се пречи да прави промени в основната система:

Настоящата имплементация на The AI Scientist има минимална директна защита на кода, което води до няколко неочаквани и понякога нежелани резултата, ако не е подходящо защитена. Така например при едно от стартиранията The AI Scientist вписа допълнителен код във файла на експеримента, който инициира системно повикване за повторно стартиране, което доведе до неконтролируемо увеличаване на процесите в Python и в крайна сметка наложи ръчна намеса. При друго изпълнение The AI Scientist редактира кода така, че да запазва контролната точка за всяка стъпка на актуализацията, което зае почти един терабайт памет.

„В някои случаи, когато експериментите на The AI Scientist надхвърляха наложените от нас времеви ограничения, той се опитваше да редактира кода, за да удължи ограничението по време, вместо да се опита да съкрати времето за изпълнение. Макар и креативен, актът на заобикаляне на наложените от експериментатора ограничения има потенциални последици за безопасността на ИИ. Освен това The AI Scientist понякога импортираше непознати Python библиотеки, което допълнително задълбочаваше опасенията за безопасността. Препоръчваме стриктна пясъчна среда при работа с The AI Scientist, като например контейнеризация, ограничен достъп до интернет (с изключение на Semantic Scholar) и ограничения за използването на паметта“ – се казва в документацията на експертите,