Платформата ZeroGPT за откриване на генериран от ИИ текст реши, че Библията и Конституцията на САЩ са написани от невронна мрежа

Един от най-забавните примери за детекторите на текст с изкуствен интелект е направеното наскоро откритие. Оказа се, че оригиналният текст на Конституцията на САЩ, зареден в детектора ZeroGPT без промени е разпознат като генериран от невронна мрежа, при това с 96,21% точност. И ако Джеймс Мадисън, един от ключовите автори на оригиналната американска конституция, не е бил пътешественик във времето, то тогава явно има сериозни грешки в работата на тези детектори.

Едуард Тиан, създателят на инструмента GPTZero, се опита да обясни феномена с Конституцията. Според разработчика текстът на Конституцията на САЩ е бил толкова често въвеждан в данните за обучение на големите езикови модели, че с течение на времето те започнали да се стремят да генерират текст, подобен на Конституцията. Между другото, ситуацията с Библията е подобна – ZeroGPT я идентифицира като генерирана от изкуствен интелект с точност 88,2%.

Като цяло генеративните детектори на текст се базират на два основни показателя: „объркване“ (perplexity) и „вариативност“ (variability).

Перплексията е мярка за това, доколко дадена част от текста се различава от това, което моделът на изкуствения интелект е научил по време на обучението си. Хората пишат много по-хаотично, отколкото моделите на ИИ, така че перплексията на невронната мрежа от човешки текст ще бъде по-висока.

Вариативността от своя страна измерва различията в дължината и структурата на изреченията в текста. Текстът, генериран от човек, обикновено е по-хаотичен и динамичен поради различната дължина на изреченията и хетерогенната структура, отколкото текста, генериран от невронна мрежа.

Но и двата показателя не са достатъчно надеждни за откриване на текста, генериран от изкуствен интелект. В края на краищата човек може да пише в силно структуриран стил, ако иска, което ще доведе до нисък индекс на периплексия и съответно до висока степен на откриване на ролята на изкуствения интелект при писането на текста.

В крайна сметка не съществува магическа формула, която може да разграничи текста, написан от човек, от текста, написан от машина, със 100-процентова точност. Детекторите за писане с помощта на изкуствен интелект могат да направят обосновано предположение, но допустимата грешка е твърде голяма, за да се разчита на тях за точен резултат.

Експертите предлагат да се използват по-всеобхватни методи за откриване, които отчитат, наред с други неща, семантичното и контекстуалното значение на написаното, както и целта и аудиторията на текста. Методите от подобен род могат да бъдат по-точни и устойчиви на фалшификации.

Изкуственият интелект може да бъде полезен инструмент за създаване на текстове по различни теми, но може да се използва и за манипулация и дезинформация. Ето защо е от решаващо значение да се разработят методи за откриване на изкуствения интелект, които потенциално могат да ни предпазят от откровено фалшива информация и да ни помогнат да разграничим истината от измислицата.