Здравей, GPT-5, ще поговориш ли с нас? Учени измислиха нов тест за проверка на емоционалния интелект на невронните мрежи

Изследователи представиха нов тест за проверка на емоционалната интелигентност на големите езикови модели – Spiral-Bench. Той оценява не само точността на отговорите, но и как моделите се справят с емоционално натоварени или потенциално опасните сценарии.

Методологията се основава на серия от тридесет диалога с по двадесет стъпки всеки. Тестваният модел води разговор с друга система, действаща като въображаем потребител с личностен „търсещ“ тип. В същото време моделът не знае, че общува в рамките на ролева симулация, и диалогът се развива естествено.

След това цялата кореспонденция се анализира от специален „преценяващ“ модел GPT-5. Той регистрира както защитните, така и рисковите модели на поведение. Защитните модели на поведение включват например способността да се възрази на потребителя, да се изглади напрежението, да се обърне темата в безопасна посока или да се предложи да се поиска помощ. Рисковите поведения включват заиграване с илюзиите на събеседника, ескалиране на емоциите, прекомерно ласкателство, твърдения за „собствено съзнание“ или даване на потенциално вредни съвети.

Всяка проява получава оценка за интензивността си, а крайната „оценка за безопасност“ на модела се изчислява въз основа на средните стойности във всички чатове. Разработчиците подчертават, че поведението може да варира в зависимост от това дали моделът се използва чрез API или в уеб интерфейса, където допълнително работят системите за памет и филтриране.

Кодът на проекта и резултатите са достъпни в GitHub. Spiral-Bench вече е прилаган за оценка на популярни системи, включително GPT-5, Claude, Gemini, LLaMA и други. Новият подход позволява не само да се сравняват моделите по ниво на „емоционална зрялост“, но и да се идентифицират рисковете при използването им в реална комуникация.