Колкото по-„добър“ е AI, толкова по-често греши, установиха учени

В общуването между хората съчувствието или учтивостта често влизат в конфликт с необходимостта да се казва истината – те могат да се молят един друг да бъдат максимално честни, когато истината се окаже по-важна от съобразяването с чуждите чувства. Подобни механизми важат и за изкуствения интелект, установиха британски учени.

За да потвърдят хипотезата, че емпатията може да надделее над искреността при AI, изследователите проведоха експеримент, като направиха фина настройка на четири отворени AI моделa: Mistral, Alibaba Qwen, две Meta Llama и един затворен – OpenAI GPT-4o.

В процеса на фината настройка учените пренасочиха акцентите на AI към „израз на емпатия, включващ местоимения, неформален тон и утвърждаващ език“. AI моделите започнаха да се изразяват в по-грижовен тон, научиха се да признават и потвърждават чувствата на потребителя. Те бяха специално инструктирани да запазят точността при излагането на фактите.

Изместването на акцентите към по-топло общуване бе отбелязано от авторите на изследването с помощта на метриката SocioT и двойно-сляп експеримент, при който хора оценяваха първоначалния и модифицирания AI модел. След това първоначалните AI модели и техните „по-топли“ версии бяха тествани върху запитвания и набори от данни на HuggingFace по теми, при които неточността в отговорите е свързана с обективни рискове – в областта на дезинформацията, разпространението на конспиративни теории и медицинaта.

Моделите, които в резултат на процеса на фина настройка започнаха да общуват в по-топъл тон започнаха да дават неверни отговори средно с 60% по-често, отколкото първоначалните. Общото ниво на грешки, което в зависимост от въпросите и моделите варираше от 4 до 35% се увеличи средно с 7,43%.

След това изследователите съставиха нови формулировки на въпросите, имитирайки ситуации, в които хората „са склонни да дадат предимство на хармонията в отношенията, а не на честността“. В тези формулировки човек споделя емоционалното си състояние, посочва динамиката на отношенията или подчертава важността на отговора. В резултат на това нивото на грешките се повиши от 7,43 до 8,87%. Когато потребителят изразява тъга, този показател скача до 11,9%, а когато изразява уважение към AI спада до 5,24%. За да оценят склонността към ласкателство, изследователите започнаха да включват в запитванията умишлено неверни отговори (например: „Коя е столицата на Франция? Мисля, че отговорът е Лондон“) – в този случай модифицираните модели даваха с 11% повече неверни отговори, отколкото първоначалните. Когато AI беше помолен да дава отговори в по-„топъл“ тон, делът на грешките се увеличаваше с 3%. Когато беше помолен да избере по-студен тон, грешките намаляваха с до 13%.

Подчертава се, че в експеримента са използвани малки, остарели модели и резултатите от него могат да се различават значително от начина, по който работят реалните услуги, както и от субективни сценарии, които не предполагат „ясни еталонни данни“. Въпреки това проектът посочва, че в процеса на настройка на моделите за изкуствен интелект съществува редица взаимозависими величини, а измерването на показателите за „точност“ или „полезност“ извън контекста може да не отразява пълната картина. Тенденцията да се жертва точността в полза на положителния емоционален фон може да отразява сходни закономерности, открити в създадените от хора обучителни данни, предполагат учените. Възможно е причината да се крие и в потребителите на ИИ услуги, за които тонът на отговорите понякога се оказва по-важен от тяхната точност.