Изследователи създадоха алгоритъм, който може да определи кога ИИ халюцинира

Въпреки, че ИИ като ChatGPT, Claude и дори Gemini може да са впечатляващи, всички тези големи езикови модели имат един общ голям проблем: те халюцинират (измислят си невярна информация) доста често. Това е голям проблем в света на изкуствения интелект и дори Apple се притеснява как ще се справи с халюцинациите в бъдеще с Apple Intelligence.

За щастие група изследователи вече са създали детектор за халюцинации на ИИ, който може да определи кога ИИ си е измислил нещо.

Тези халюцинации доведоха до редица смущаващи и интригуващи пропуски и продължават да бъдат една от основните причини ИИ като ChatGPT да не е по-полезен. Видяхме как Google беше принудена да направи промени в прегледите си за търсене с ИИ, след като ИИ започна да казва на хората, че е безопасно да ядат камъни и да слагат лепило върху пицата и не само това.

Може би тези проблеми щяха да бъдат избегнати, ако детектора за халюцинации на ИИ (описан в нова статия, публикувана в списание Nature) беше наличен по-рано.

Според статията новият алгоритъм, разработен от изследователите може да помогне да се разпознае дали отговорите, генерирани от ИИ, са действителни в приблизително 79% от случаите. Това, разбира се, не е перфектен резултат, но е с 10 % по-висок от другите водещи методи, които съществуват в момента.

Изследването е проведено от членове на катедрата по компютърни науки на Оксфордския университет. Използваният метод е сравнително прост, обясняват изследователите в статията. Първо, те карат чатбота да отговори на едно и също запитване няколко пъти, обикновено от 5 до 10. След това изчисляват число за т.нар. семантична ентропия – мярка за това колко сходни или различни са значенията на даден отговор.

Ако моделът отговаря по различен начин на всеки от записите на подкана, тогава резултатът от семантичната ентропия е по-висок, което означава, че изкуственият интелект може да халюцинира отговора. Ако обаче всички отговори са идентични или имат сходни значения, резултатът от семантичната ентропия ще бъде по-нисък, което показва, че той дава по-последователен и вероятно верен отговор. Както казахме, това не е перфектен резултат, но е интересен начин да се справим с халюцинациите.

Други методи разчитат на това, което наричаме наивна ентропия, която обикновено проверява дали формулировката на отговора, а не неговото значение е различна. По този начин не е толкова вероятно да се открият халюцинации толкова точно, защото не се разглежда значението зад думите в изречението.

Изследователите казват, че алгоритъмът може да бъде добавен към чатботове като ChatGPT чрез бутон, който да позволи на потребителите да получат „оценка за сигурност“ за отговорите, които получават на своите подкани. Наличието на детектор за халюцинации на ИИ, вграден директно в чатбота е интересна идея и вероятно ще има полза от добавянето на такъв инструмент към различните чатботове.