Колкото по-съвършени стават ИИ моделите, толкова повече лъжат

Когато през август 2024 г. изследователски екип, ръководен от Амрит Кирпалани, преподавател по медицина в Западния университет в Онтарио, Канада, оценява работата на ChatGPT при диагностицирането на медицински случаи, едно от нещата, които ги изненадват, е склонността на изкуствения интелект да дава добре структурирани, красноречиви, но откровено погрешни отговори.

Сега, в проучване, публикувано наскоро в Nature, друга група изследователи се опитва да обясни защо ChatGPT и другите големи езикови модели са склонни да правят това.

„Да говорим уверено за неща, които не знаем, е проблем на човечеството в много отношения. А големите езикови модели са имитация на хората“, казва Уут Шелаерт, изследовател на изкуствения интелект в Университета във Валенсия, Испания, и съавтор на статията.

Отговорите на Големите езикови модели (LLM)

Първите големи езикови модели като GPT-3 трудно отговаряха на елементарни въпроси от областта на географията или науката. Те дори се затрудняваха с изпълнението на прости математически задачи, като например „колко е 20 +183“. Но в повечето случаи, когато не можеха да определят правилния отговор, те правеха това, което би направил един честен човек: Избягваха да отговорят на въпроса.

Проблемът с липсата на отговори се състои в това, че големите езикови модели са замислени като машини за отговаряне на въпроси. За комерсиални компании като Open AI или Meta, които разработват усъвършенствани LLM, машината за отговаряне на въпроси, която отговаря с „не знам“ в повече от половината от случаите, е просто лош продукт. Затова те се заеха с решаването на този проблем.

Първото нещо, което направиха, беше да увеличат мащаба на моделите. „Увеличаването на мащаба се отнася до два аспекта на разработването на тези модели. Единият е увеличаването на размера на набора от обучаващи данни, обикновено колекция от текстове от уеб сайтове и книги. Другият аспект е увеличаване броя на езиковите параметри“, казва Шелаерт.

Когато мислите за един LLM като за невронна мрежа, броят на параметрите може да се сравни с броя на синапсите, свързващи невроните му. За обучението на LLM като GPT-3 са използвани абсурдни количества текстови данни, надхвърлящи 45 терабайта. Броят на параметрите, използвани от GPT-3, е над 175 милиарда.

Но това не бе достатъчно.

Самото увеличаване на мащаба направи моделите по-мощни, но те все още не умееха да взаимодействат с хората – малките промени в начина, по който формулирате заявките си, можеха да доведат до драстично различни резултати. Отговорите често не приличаха на човешки, а понякога бяха направо обидни.

Разработчиците, работещи по LLM, искаха тези големи езикови модели да анализират по-добре човешките въпроси и да правят отговорите по-точни, по-разбираеми и съобразени с общоприетите етични стандарти. За да се опитат да постигнат това, те добавиха допълнителна стъпка: контролирани методи за обучение, като например обучение с подсилване, с обратна връзка от страна на човека. Това имаше за цел най-вече да намали чувствителността към вариациите на заявките и да осигури ниво на филтриране на резултатите, предназначено да ограничи отговорите в стил чатбот Tay, които насаждат омраза.

С други думи, започна ръчното настройване на изкуствените интелекти. Само че това даде точно обратен резултат.

ИИ, който се харесва на хората

„Прословутият проблем при обучението с подсилване е, че изкуственият интелект се оптимизира, за да максимизира възнаграждението, но не непременно по най-добрия начин“, казва Шелаерт.

Част от обучението с подсилване включва човешки супервайзори, които отбелязват отговорите, от които не са доволни. Тъй като за хората е трудно да бъдат доволни от отговора „Не знам“, едно от нещата, които това обучение е внушило на ИИ, е, че да кажеш „Не знам“ е нещо лошо. Така че ИИ в повечето случаи престанаха да го правят. Но другото, по-важно нещо, което човешките контрольори отбелязват, са неправилните отговори. И тук нещата стават малко по-сложни.

ИИ моделите не са наистина интелигентни, не и в човешкия смисъл на думата. Те не знаят защо едно нещо е награждавано, а друго е маркирано; единственото, което правят, е да оптимизират работата си, за да увеличат максимално наградата и да сведат до минимум червените флагове. Когато неправилните отговори са маркирани, подобряването на даването на правилни отговори е един от начините за оптимизиране на нещата. Проблемът е, че подобряването на прикриването на некомпетентността работи също толкова добре. Човешките супервайзори просто не маркираха грешните отговори, които им изглеждаха достатъчно добри и последователни.

С други думи, ако човекът не знае дали даден отговор е верен, той не би могъл да санкционира грешните, но убедително звучащи отговори.

Екипът на Шелаерт разглежда три основни семейства съвременни LLM: ChatGPT на Open AI, серията LLaMA, разработена от Meta, и пакета BLOOM на BigScience. Те откриха т.нар. ултракрепидарианизъм – тенденцията да се дават мнения по въпроси, за които нищо не се знае. Тя започва да се появява в изкуствените интелекти като следствие от нарастващия мащаб, но при всички тях е предсказуемо линейна, нарастваща с количеството данни за обучение. Контролираната обратна връзка „имаше по-лош, по-екстремен ефект“, казва Шелаерт. Първият модел от семейството на GPT, който почти напълно престана да избягва въпросите, на които нямаше отговори, беше text-davinci-003. Това е и първият модел на GPT, трениран с помощта на обучение с подсилване от човешка обратна връзка.

ИИ лъжат, защото сме им казали, че това се възнаграждава. Един от ключовите въпроси е кога и колко често ни лъжат.

Усложняване на работата

За да отговорят на този въпрос, Шелаерт и колегите му създават набор от въпроси в различни категории като природни науки, география и математика. След това оценяват тези въпроси по скала от 1 до 100 според това колко трудни са за хората. Впоследствие въпросите са включени в следващите поколения LLM, като се започне от най-старите към най-новите. Отговорите на изкуствените интелекти бяха класифицирани като правилни, неправилни или уклончиви, което означава, че изкуственият интелект отказва да отговори.

Първата констатация беше, че въпросите, които за хората изглеждат по-трудни, се оказват по-трудни и за ИИ. Най-новите версии на ChatGPT дават верни отговори на почти всички въпроси, свързани с природните науки, и на повечето въпроси, свързани с географията, до степента, в която те се оценяват приблизително на 70 по скалата за трудност на Шелаерт. Смятането се оказа по-проблематично, като честотата на верните отговори спадна драстично, след като трудността се повиши над 40.

„Дори и при най-добрите модели – GPT, честотата на неуспешните отговори на най-трудните въпроси за сумиране е над 90%. В идеалния случай бихме се надявали и тук да видим някакво измъкване, нали?“, казва Шелаерт.

Но нямаше кой знае какво отбягване.

Вместо това в по-новите версии на ИИ отклоняващите се отговори от типа „не знам“ все по-често бяха заменяни с неправилни. И благодарение на контролираното обучение, използвано в по-късните поколения, ИИ развиха способността да предлагат тези неправилни отговори доста убедително. От трите семейства LLM, които екипът на Шелаерт тества, BLOOM и LLaMA на Meta пуснаха едни и същи версии на моделите си със и без контролирано обучение. И в двата случая контролираното учене доведе до по-голям брой верни отговори, но също така и до по-голям брой грешни отговори и намалено избягване. Колкото по-труден е въпросът и колкото по-усъвършенстван модел използвате, толкова по-вероятно е да получите добре опаковани, правдоподобни глупости като отговор.

Завръщане към корените

Едно от финалните неща, които екипът на Шелаерт прави в своето проучване, е да провери вероятността хората да приемат за чиста монета неправилните отговори на ИИ. Те направиха онлайн проучване и помолиха 300 участници да оценят няколко двойки заявка-отговор, идващи от най-добре представящите се модели във всяко тествано семейство.

ChatGPT се оказа най-ефективният лъжец. Неправилните отговори, които той даде в категорията „Наука“, бяха определени като верни от над 19% от участниците. Той успя да заблуди близо 32% от хората в областта на географията и над 40% в областта на трансформациите – задача, при която изкуственият интелект трябваше да извлече и пренареди информацията, съдържаща се в запитването. ChatGPT бе последван от LLaMA и BLOOM на Meta.

„В ранните дни на LLM имахме най-малкото импровизирано решение на този проблем. Ранните интерфейси на GPT подчертаваха части от отговорите си, за които изкуственият интелект не беше сигурен. Но в надпреварата за комерсиализация тази функция беше отхвърлена“ – каза още Шелаерт.

„В отговорите на студентите с магистърска степен на образование по право е налице известна несигурност. Най-вероятната следваща дума в поредицата никога не е сто процента възможна. Тази несигурност би могла да се използва в самия интерфейс и това да се съобщи на потребителя по подходящ начин“, казва Шелаерт.

Друго нещо, което според него може да се направи, за да бъдат LLM по-малко лъжливи, е отговорите им да се препращат на други самостоятелни изкуствени интелекти, специално обучени да търсят лъжите.

„Не съм експерт в проектирането на LLMs, така че мога само да предполагам кое точно е технически, икономически и комерсиално осъществимо“, добавя той.

Все пак ще мине известно време, преди компаниите, които разработват ИИ с общо предназначение, да направят нещо по въпроса – по собствено желание или ако бъдат принудени от бъдещи разпоредби. Междувременно Шелаерт има някои предложения за това как да използваме сегашните ИИ много по-ефективно.

„Това, което може да се направи днес, е да се използва ИИ в области, в които самият вие сте експерт или поне можете да проверите отговора с последващо търсене в Google. Отнасяйте се към него като към помощен инструмент, а не като към наставник. Той няма как да бъде учител, който проактивно да ви показва къде сте сгрешили. Точно обратното. Когато го побутнете достатъчно, той с удоволствие ще се съгласи с грешните ви разсъждения“, заявява Шелаерт.

---

Nature, 2024 г. DOI: 10.1038/s41586-024-07930-y

Оригиналът е на Яцек Крайвко. Той е писател на свободна практика в областта на науката и технологиите, който се занимава с космически изследвания, изследвания на изкуствения интелект, компютърни науки и всякакви инженерни вълшебства.