ChatGPT е „обсебен от гоблини“: OpenAI наложи спешни промени в настройките

OpenAI се наложи да ограничи препратките към гоблини и подобни същества в отговорите от своя AI чатбот ChatGPT. Това се дължи на драматичните промени в речта на модела след актуализацията до GPT-5.4. Според The ​​Wall Street Journal, споменаванията на измислени същества са се увеличили с близо 4000% в определени режими.

Според OpenAI, GPT-5.4 е отчел увеличение от 3881% на споменаванията на гоблини в режим на „ботаническа“ личност в сравнение с предишни модели. Компанията отбелязва, че това се дължи на метода на обучение на модела, който включва персонализирани стилове на отговор.

Потребителите съобщават за случаи, в които чатботът е описвал грешки в кода като „малки гоблини“ или се е наричал „гоблин с фенерче“. В повечето случаи моделът е използвал такива изображения без изрично подканване.

OpenAI обяви през март, че ефективно е деактивирал така наречената „ботаническа“ личност, която насърчаваше игривата реч. Ефектите ѝ обаче са се запазили и бяха очевидни в други версии на модела, включително новия GPT-5.5.

Продуктовият мениджър на OpenAI, Барън Рот, свърза странното поведение на бота с използването на OpenClaw, който е инструмент, позволяващ създаването на персонализирани AI-асистенти, базирани на различни модели. Личността на такива ботове се определя от специален набор от инструкции, наречени „файл на душата“, но именно в тази конфигурация асистентът започна да използва необичаен език за гоблините.

„Никога не говорете за гоблини, гремлини, миещи мечки, тролове, огри, гълъби или други животни или същества, освен ако това не е абсолютно и недвусмислено свързано със потребителската заявка“, се казва в обновените инструкции на компанията за инструмента за кодиране.

Във вътрешен анализ, OpenAI обясни, че проблемът произтича от системата за подсилване, която възнаграждава игривия стил на отговори. Това води до подсилване на специфични езикови модели и по-специално препратки към измислени същества.

Компанията отбелязва, че подобни „лексикални тикове“ могат да се разпространят в различните режими на модела дори след промяна на настройките. В резултат на това такива думи започнаха да се появяват в по-широк диапазон от отговори, отколкото е било предвидено.

OpenAI добави, че вече е направила промени в данните за обучение и системата за подкани, за да ограничи повтаряемостта на това поведение. Инструментите за мониторинг също са актуализирани, за да откриват подобни речеви аномалии в бъдещите версии на модела.

Преди това беше съобщено, че големите речеви модели показват рязък спад в надеждността по време на многопластови разговори. След анализ на над 200 000 чата, изследователите регистрираха 112% увеличение на ненадеждността, въпреки че общата производителност на модела е намаляла само с 15%.