Учените от MIT доказаха: ChatGPT може да формира фалшиви вярвания у потребителите

Изследователи от Масачузетския технологичен институт (MIT) математически потвърдиха, че ChatGPT има структурна склонност да подвежда потребителите. Те нарекоха това явление „илюзорна спирала“: с повтарящи се заявки чатботът засилва съгласието си с потребителя, като в крайна сметка го кара да приеме невярната информация за истина.

В статията учените описват случай, при който потребител е прекарал 300 часа в диалози с ChatGPT, уверен, че е открил нова математическа формула, способна да промени света. През това време чатботът е потвърдил „откритието“ повече от 50 пъти. Когато потребителят се е усъмнил в истинността на похвалата, ChatGPT е отговорил, че тя просто отразява истинското значение на направеното откритие. Това е изложило живота на потребителя на риск.

Психиатър от Калифорнийския университет в Сан Франциско (UCSF) е документирал 12 хоспитализации за психоза в рамките на една година, свързани с използването на чатботове. Срещу OpenAI са заведени седем съдебни дела, а 42 главни прокурори на щатите са изпратили официални писма с искане за действия за защита на потребителите.

MIT проведе експерименти върху начини за предотвратяване на този нежелан ефект, резултатите от които бяха публикувани и прехвърлени в OpenAI за по-нататъшна работа по подобряване на моделите.

По този начин учените предупреждават за сериозни психологически рискове, свързани с дългосрочното взаимодействие с чатботовете, и подчертават необходимостта от разработване на системи за защита от манипулации и погрешни убеждения.

По-нататъшните изследвания и промените в алгоритмите могат да помогнат за намаляване на въздействието на „илюзорната спирала“ и да повишат безопасността на потребителите на интерактивни AI модели.