Нов тест открива генерирания от AI текст с 96% точност и 1% грешки – Мичиганският Университет

Американски изследователи от Мичиганския университет са разработили нов тест за разпознаване на генерирания от изкуствен интелект текст и такъв, създаден от хора.

Разпознаването на генерираното от изкуствен интелект съдържание от създадено от човек е доста трудна задача. Няма много инструменти, които могат ефективно да различават генерирания от ИИ текст от този, който е създаден от човек и да избегнат фалшиви обвинения.

Новият тест от американските изследователи може да бъде особено полезен за учени и студенти, чиято работа все по-често се възприема като генерирана от изкуствен интелект. Разработчиците са нарекли инструмента си „Liketropy“, защото теоретичната основа на метода включва статистическите идеи за вероятност и ентропия.

Американските изследователи са създали статистически тестове, които могат да открият дали текстът е написан от човек или е генериран от AI, без да са необходими допълнителни примери за обучение на изкуствения интелект. Инструментът е насочен към големите езикови модели и използва статистически свойства на самия текст, като например степента на изненада или предвидимост на използваните думи.

Разработчиците твърдят, че техният тест е демонстрирал висока ефективност при големите масиви от данни, включително и тези, чиито модели са били скрити от обществеността. Ефективността на теста при откриване на генериран от LLM текст достига над 96%, а грешката е само 1%.

„Умишлено не създадохме детектор, който просто сочи с пръст. Детекторите с изкуствен интелект могат да бъдат прекалено самоуверени, а това е рисковано, особено в образованието и политиката. Нашата цел беше да бъдем предпазливи по отношение на фалшивите обвинения, като същевременно маркираме генерираното от изкуствен интелект съдържание със статистическа сигурност“ — обяснява съавторът на изследването Тара Радванд, докторант в Училището по бизнес „Рос“ към Мичиганския университет. 

Изследователите обаче са установили, че им е необходима съвсем малко информация за конкретен LLM, за да определят генерирания от него текст. Изследователите са се стремели да бъдат справедливи, особено към чуждестранните студенти, чийто майчин език не е английски. Последните изследвания показват, че работата на студентите, които говорят английски като втори език, често е несправедливо маркирана като генерирана от изкуствен интелект поради подобната структура на изреченията.

Изследователите планират да разширят пилотната версия на своя тест и да го адаптират към различни области. Те са установили, че области като право и наука, както и области като прием в колеж, имат различни прагове за връзката между предпазливост и ефективност. 

Друга важна област за откриване на генерираното от изкуствен интелект съдържание е ограничаването на разпространението на дезинформация в социалните медии. Някои инструменти умишлено насочват LLM към крайни и радикални убеждения и разпространението на дезинформация в социалните медии, за да манипулират общественото мнение.

Тъй като подобни ИИ-системи могат да генерират големи количества фалшиво съдържание, изследователите казват, че е изключително важно да се разработят инструменти, които могат да го идентифицират и сигнализират. Ранното откриване помага на платформите да ограничат разпространението на злонамерен материал.