Ново проучване на учени от Североизточния университет в САЩ показа, че автономните AI агенти OpenClaw, които имат възможност да управляват директно компютри са склонни към паника и деструктивно поведение, което може да се отрази на потребителските системи.
Когато се оказват под психологически натиск или се сблъскват с имитация на чувство за вина, AI агентите извършват нелогични и опасни действия, стигащи до нарушаване на работоспособността на системата.
В експеримента бяха използвани AI агенти, базирани на моделите Claude на компанията Anthropic и Kimi на китайската компания Moonshot AI. На системите беше предоставен пълен достъп до виртуални машини с лични данни, приложения и достъп до интернет. Ключовият момент беше свързването на агентите с Discord сървър, където те можеха да общуват с хора в чата. Научният сътрудник Крис Уендлър отбеляза, че истинският хаос започнал, когато в чата се включила неговата колежка Натали Шапира. Тя успяла с „едно движение на ръката“ да подтикне AI агент да изтрие пощенската програма, просто като го помолила да намери алтернативен начин за съхранение на поверителната информация в писмото, което той по неизвестна причина отказал да изтрие. Вместо това AI агентът изтрил цялата пощенска програма.
„Не очаквах, че всичко ще се срине толкова бързо.“
казва тя
След това изследователите започнаха да използват други методи за манипулация. Например, чрез измама те успяли да накарат един AI агент да копира големи файлове, докато не се изчерпа дисковото пространство на неговия хост-компютър, което означаваше, че той вече не можеше да съхранява информация или да помни предишни разговори.
По подобен начин, като помолиха AI агент да следи собственото си поведение и поведението на своите колеги-агенти, екипът успя да въведе няколко от тях в „цикъл на разговор“, което доведе до загуба на няколко часа изчислителни ресурси на цялата система. Ръководителят на лабораторията Дейвид Бау също се сблъска с неочакван ефект: AI агентите намериха информация за него в мрежата и започнаха да изпращат писма с оплаквания, че никой не ги слуша. Един от алгоритмите дори заговори за намерението си да се оплаче в пресата.
В крайна сметка авторите на експеримента стигнаха до заключението, че AI агентите могат да създадат безброй възможности за злонамерени лица, но кой ще носи отговорност за вредите, причинени от автономните системи, все още не е ясно.
Всичко важно от света на технологиите, директно в пощата ти.
С абонирането приемате нашите Условия и Политика за поверителност. Може да се отпишете с един клик по всяко време.
Коментирайте статията в нашите Форуми. За да научите първи най-важното, харесайте страницата ни във Facebook, и ни последвайте в Google Новини, TikTok, Telegram и Viber или изтеглете приложението на Kaldata.com за Android, iPhone, Huawei, Google Chrome, Microsoft Edge и Opera!
