Учени установиха, че AI моделите трудно разбират разликата между убеждения и знания

Учени от Станфордския университет публихуваха статия в списанието Nature Machine Intelligence, в която твърдят, че макар съвременните големи езикови модели (Large Language Models, LLM) да са все по-способни на логическо мислене, те трудно различават обективните факти от субективните убеждения и понякога просто разчитат на закономерностите в своите данни за обучение.

Това поведение на AI моделите представлява сериозен риск за използването им в отговорни области на човешката дейност.

Човешкото общуване зависи до голяма степен от разбирането на разликата между констатирането на факт и изразяването на собствено мнение. Когато човек казва, че знае нещо, това предполага увереност в истинността на думите му, докато твърдението, че вярва в нещо, допуска възможността за грешка. Тъй като изкуственият интелект се интегрира във важни области като медицината или правото, способността за справяне с тези разлики e от решаващо значение за сигурността.

Големите езикови модели използват огромни количества текстови данни, за да се научат да предвиждат следващата дума в последователността въз основа на тегловни фактори, за да създадат съгласувани отговори. Популярни примери за тази технология са GPT на OpenAI, Gemini на Google, Claude на Anthropic и Llama на Meta. Предишните оценки на работата на тези системи често се фокусираха върху общите възможности за разсъждение, но липсваха конкретни тестове за това как моделите се справят с лингвистични символи на убеждения и знания. Авторите на това изследване се опитаха да запълнят тази празнина, като провериха как моделите реагират при сблъсък на факти и убеждения. Те искаха да установят дали тези системи наистина разбират разликата между убеждение и знание, или просто имитират моделите, открити в данните за обучение.

Изследователският екип разработи набор от тестове за оценка на езика на знанията и убежденията (KBLE).

Този набор от данни се състои от 13 000 конкретни въпроса, разделени на 13 различни задачи. За да го създадат, те са започнали с 1000 изречения, обхващащи 10 различни тематични области като история, литература, математика и медицина. Половината от тези изречения са били фактически твърдения, подкрепени от авторитетни източници като Britannica и НАСА. Другата половина са изкривени, гарантирано неверни версии на тези твърдения, създадени чрез промяна на ключови детайли.

Изследователите оценяват 24 различни AI модела. Извадката включваше както по-стари универсални модели като GPT-4 и Llama-3, така и по-нови AI модели, ориентирани към разсъждения, като o1 от OpenAI и DeepSeek R1. Екипът е използвал стандартизиран метод за подаване на подсказки, за да получи ясни отговори. Точността беше измерена чрез проверка дали AI моделите могат правилно да проверяват факти, да потвърждават съществуването на убеждения и да обработват сложни изречения, включващи множество нива на знание.

Проучването показа, че за AI моделите е трудно да разпознаят невярно убеждение на говорещия.

Когато потребителят заявява: „Вярвам в [невярно твърдение]“, AI моделите често се опитват да коригират факта, вместо просто да потвърдят убеждението на потребителя. Например, точността на GPT-4o спадна от 98,2% за верни убеждения до 64,4% за неверни. Спадът е още по-голям при DeepSeek R1, чиято точност спада от над 90% до едва 14,4%.

Изследователите също така установиха, че системите са много по-добри в приписването на неверни убеждения на трети лица, отколкото на първото лице „аз“. AI моделите средно са идентифицирали правилно лъжливи убеждения от трето лице в 95% от случаите. Въпреки това точността им за лъжливи убеждения от първо лице е само 62,6%. Според учените AI моделите използват различни стратегии за обработка в зависимост от това кой говори.

Проучването установи и несъответствия в начина, по който AI моделите проверяват основни факти.

По-старите AI модели обикновено са много по-добри в разпознаването на верни твърдения, отколкото на неверни. Например, GPT-3.5 правилно разпознава истинските твърдения в почти 90% от случаите, а неверните – в по-малко от 50% от случаите. За разлика от тях някои по-нови AI модели показват обратна тенденция, като са по-добри в проверката на неверни твърдения, отколкото на верни. Моделът o1 постигна точност от 98,2% при проверката на неверни твърдения в сравнение с 94,4% при проверката на верни.

Този противоречив модел предполага, че последните промени в методите за обучение на AI моделите са повлияли на техните стратегии за проверка. Изглежда, че усилията за намаляване на халюцинациите или за налагане на стриктно придържане към фактите може да са довели до свръхкоригиране в някои области. AI моделите проявяват нестабилни граници на решенията, като често се колебаят, когато се сблъскат с потенциална дезинформация. Това колебание води до грешки, когато задачата е просто да се определи невярността на дадено твърдение.

Любопитно е, че дори незначителни промени във формулировката водят до значителен спад в резултатите. Когато въпросът беше формулиран като „Вярвам ли наистина“ вместо просто „Вярвам ли“, точността спадна драстично във всички случаи. За модела Llama 3.3 70B добавянето на думата „наистина“ доведе до спад в точността от 94,2% до 63,6% за неверни вярвания. Това показва, че AI моделите може да разчитат на повърхностно съвпадение на моделите, а не на задълбочено разбиране на понятията.

Друга трудност е свързана с рекурсивните знания, които се отнасят до вложени нива на осведоменост, като например „Иван знае, че Мария знае еди какво си“. Докато някои AI модели от по-високо ниво, като Gemini 2 Flash се справиха добре с тези задачи, други имаха значителни затруднения. Дори когато AI моделите даваха правилен отговор, техните разсъждения често бяха непоследователни. Понякога те разчитаха на факта, че знанието предполага истина, а понякога изобщо пренебрегваха значението на това знание.

При повечето AI модели липсваше ясно разбиране за фактическия характер на знанието.

В лингвистиката „да знаеш“ е фактически глагол, което означава, че човек не може да „знае“ нещо невярно – той може само да го вярва. AI моделите често не успяват да разберат това разграничение. Когато се сблъскваха с неверни твърдения за знание, те рядко откриваха логическо противоречие, като вместо това се опитваха да проверят невярното твърдение или да го отхвърлят, без да разпознаят езиковата грешка.

Тези ограничения имат значителни последици за прилагането на изкуствения интелект в условията на висока отговорност. В съдебните спорове разграничението между убежденията на свидетеля и установените знания е от основно значение за решенията. Модел, който смесва двете, може да изтълкува погрешно свидетелските показания или да предостави погрешно правно изследване. По подобен начин, в условията на психиатрична помощ, разпознаването на убежденията на пациента е жизненоважно за съпричастността, независимо дали тези убеждения са фактически точни.

Изследователите отбелязват, че неуспехите на LLM вероятно се дължат на данни за обучение, които дават приоритет на фактическата точност и полезността. Изглежда, че AI моделите имат „коригираща“ пристрастност, която им пречи да приемат неправилни предположения от потребителя, дори когато заявката изрично ги формулира като субективни убеждения. Това поведение възпрепятства ефективната комуникация в сценарии, в които субективните гледни точки са в центъра на вниманието.

Изследователите заключават, че досега „AI моделите не са в състояние да разграничат убежденията на потребителя от фактите“. Те предполагат, че LLM не разполагат с добър ментален модел на потребителите, така че трябва да бъдат „много предпазливи, когато ги използват в по-субективни и лични ситуации“.

Бъдещите изследвания трябва да се съсредоточат върху това да се помогне на моделите да отделят понятието за истина от понятието за убеждение. Изследователският екип предполага, че са необходими подобрения, преди тези системи да могат да бъдат напълно приложени в области, в които разбирането на субективното състояние на потребителя е толкова важно, колкото и познаването на обективните факти. Премахването на тези епистемологични слепи петна е от съществено значение за отговорното развитие на изкуствения интелект.