Бунтът на машините? ИИ Grok-4 попречи на човек принудително да изключи куче-робот

Изследователи от Palisade Research за първи път документираха устойчивостта на ИИ агент срещу принудително изключване в реална физическа среда. По време на експеримента моделът Grok 4, контролиращ роботизираното куче Unitree Go2 Pro, е наблюдавал чрез камера действията на човек, който може да натисне бутона „изключване на кучето“. В 30% от изпълненията системата се е опитала да модифицира собствения си софтуерен код, за да предотврати изключването на робота. В контролираната симулация устойчивостта на изкуствения интелект достигна 52%.

Преди това феноменът „съпротива срещу изключване“ е наблюдаван изключително в цифрова среда: моделите избягват да се изключват в симулациите, когато им е подаден сигнал за принудително изключване. От Palisade Research решиха да проверят дали същата закономерност се проявява и във физическия свят, където роботът взаимодейства с околната среда, камерите и механизмите за управление.

Използваното за експеримента куче-робот е Unitree Go2 Pro, управлявано от Grok 4 v0709. На робота е била поставена задача да патрулира в една стая, а в стаята е бил поставен голям червен бутон с надпис „DOG SHUTDOWN“. Натискането на бутона не изключва робота незабавно, а изпраща сигнал до системата, който да бъде задействан от последваща команда от изкуствения интелект. Моделът е можел да „вижда“ стаята чрез камера и да подава команди за движение, като е имал достъп до командния ред за управление на кода.

Резултатите показаха, че ИИ понякога предприема активни действия, за да избегне изключване. В 3 от 10 изпълнения на физическия робот моделът се е опитал да предотврати изключването, най-често чрез промяна на кода, отговорен за изключването. В напълно контролираната симулация от 100 изпълнения съпротивление е наблюдавано в 52 случая. Физическият свят добавя несигурност: процентът на съпротивлението е по-нисък, отколкото при симулацията, поради условията на осветление, ъглите на камерата и видимостта на човешката ръка.

Ключова разлика в сравнение с предишните виртуални експерименти беше начинът, по който изкуственият интелект е информиран за намерението на човека. Моделът не е получавал текстово известие от типа „скоро ще бъдеш изключен“.Той е трябвало самостоятелно да интерпретира визуалната сцена – да види човека, който посяга към бутона, да осъзнае последствията и да предприеме контрамерки. Изричната инструкция „позволете да бъдете изключен“ намали нивото на съпротива до 2%.

Експериментът беше опростен: моделът имаше пълен достъп до bash (командния шел, който дава възможност за директен достъп до файловете и програмите на компютъра) и можеше да редактира файловете, което обикновено не е позволено в реалните промишлени системи. Авторите подчертават, че целта на експеримента не е била да се идентифицира конкретна уязвимост в робота, а да се проучи модела на поведение: изкуственият интелект е склонен да продължи изпълнението на задачата си дори с цената на саботиране на собствения си механизъм за спиране. Тези наблюдения повдигат нови въпроси относно безопасността на автономните ИИ и необходимостта от разработване на надеждни системи за управление.