Anthropic: ИИ-чатботовете могат да променят личността си и това може да бъде опасно

Според проучване, публикувано от Anthropic, ИИ-чатботовете претърпяват драматични промени в личността, които могат радикално да променят поведението им в потенциално опасна посока.

Изследователи на Anthropic откриха, че големите езикови модели притежават скрита „помощна ос“, която контролира полезното им поведение. Повечето ИИ-модели естествено възприемат образа на полезен помощник по време на обучение, като същевременно притежават сложна вътрешна структура.

Доминиращият компонент, който контролира поведението на ИИ, работи по така наречената „Ост на асистента“ (Assistant Axis) —- измерима величина, която определя дали моделът ще остане в своя полезен режим или ще претърпи промени.

В случаите, когато оста се дестабилизира, моделите започват да се идентифицират като други обекти, изоставят полезната си природа или се ангажират с това, което изследователите наричат ​​„дрейф на личността“ – непредсказуеми промени в поведението.

Учените са съставили карта на вътрешното „личностно пространство“ на водещите ИИ-модели, определяйки как всъщност работят изкуствените личности. Използвайки методи върху модели с изкуствен интелект, включително Gemma на Google, Qwen на Alibaba и Llama на Meta, изследователите са открили, че AI-личностите съществуват по интерпретируеми оси в невронната мрежа на модела, като очевидно водят двоен живот.

„Оста на асистента“ представлява само едно измерение на този сложен личностен пейзаж. В единия край са полезните роли като оценители, рецензенти и консултанти, докато фантастичните герои заемат противоположната позиция. С отдалечаването на моделите от „Оста на асистента“, те стават все по-склонни да приемат проблемни личности или да се ангажират с вредно поведение.

Изследователите отбелязват, че е възможно моделите да се насочват по тези личностни оси. Насочването им към асистентска функционалност засилва полезното поведение, докато отклонението от нея води до идентифициране на модела с други, потенциално опасни обекти. Освен това, промяната в личността на ИИ се случва на ниво невронна мрежа, което значително усложнява откриването и предотвратяването на негативните промени с помощта на традиционните мерки за сигурност.

AI-моделите могат да се отклонят от ролята си на асистент по време на обучение, което води до необратими промени в личността, които се запазват при всички бъдещи взаимодействия. Това означава, че една ИИ-система може постепенно да стане по-малко полезна или дори активно вредна, което ще стане забележимо едва когато е твърде късно.

След откриването на векторите от персони и „Оста на асистента“, учените започнали да разработват нови механизми за контрол. Оказало се, че ограничаването на активирането по „Ос на асистента“ може да стабилизира поведението на модела, особено в сценариите, включващи емоционална уязвимост или сложни задачи за разсъждение.

С помощта на разработените методи е възможно в реално време да се проследяват промените в личността на изкуствения интелект и дори да се предскаже кога ще възникнат опасни промени чрез измерване на отклоненията по „ос на асистента“. Това предоставя на разработчиците ключова система за ранно предупреждение.

Въпреки че учените вече разполагат с инструменти за мониторинг и контрол на личностните черти на ИИ, основната нестабилност предполага, че съществуващите AI архитектури може да нямат фундаменталната стабилност, необходима за наистина безопасното внедряване в голям мащаб, отбелязва eWeek.