AI: Изследователи разработиха суперефективен инструмент за откриване на написаните от ChatGPT статии

Изследователи разработиха инструмент, базиран на машинно обучение, за откриване на научните статии, генерирани от ChatGPT. В сравнение с други известни детектори, този инструмент е особено ефективен за анализ на текст в областта на химията. Въпреки това, след разработването на този първоначален модел, изследователите са осъзнали, че би било доста лесно да се създадат инструменти за откриване и в други области. 

Преди появата на изкуствения интелект, обвиненията срещу научните статии често бяха съсредоточени върху плагиатството. Сега, когато технологията получи малко критики, дебатът изглежда се насочва към генерираното от AI-съдържание.

В частност, академичните среди, изследователите и студентите, които представляват генерираните от AI продукти, нарушават принципите на оригиналност и индивидуален подход към работата. Ето защо група учени от университета в Канзас (САЩ), ръководена от Bruyère Desert, разработи софтуер, който може надеждно да идентифицира създаденото от ChatGPT съдържание. Този инструмент се основава на машинно обучение и е особено ефективен при анализирането на научни статии и по-конкретно в областта на химията. За целта, детекторът изучава 20 различни особености на стила на писане, включително и вариациите в дължината на изречението, честотата на използване на определени думи и препинателните знаци. Резултатите от изследването са описани подробно в списанието Cell Reports Physical Science.

Надеждност до 100%

За обучение на детектора са използвани 100 въведени статии от десет различни списания на Американското химическо общество (ACS). Тези примерни текстове са били използвани като примери за съдържание, написано от хора. След това ChatGPT-3.5 е бил помолен да генерира 200 статии, които имитират стила на писане на материалите в списанията ACS. 100 от тези текстове са създадени чрез вмъкване като подсказки само на заглавията. Останалите 100 текста са създадени чрез включени в тях анотации на статиите. 

В хода на тестовете, при използване на детектора за идентифициране на съдържанието, генерирано от ChatGPT-3.5, използвайки заглавията на статиите, беше постигната 100% надеждност. За записите, които ChatGPT генерира, използвайки анотации като отправна точка, надеждността на детектора е 98%. Детекторът също работи добре и с текстовете, генерирани от ChatGPT-4. 

Екипът също сравни инструмента с два други детектора. Първият, наречен ZeroGPT, се представи много по-зле, като надеждността варира от 35 до 65% в зависимост от версията на ChatGPT. Вторият инструмент, разработен от OpenAI (компанията зад ChatGPT), показа още по-ниска надеждност, варираща от 10% до 55%.

Детектор, специализиран в научните статии

По време на тестовете, системата се е оказала особено ефективна при анализиране на статиите в научните списания, особено в областта на химията. Според един от изследователите, би било за предпочитане да се разработят детектори, които са специализирани в специфичните области, а не инструменти с „общо предназначение“. Това ще подобри точността, тъй като ще бъдат обучени да разпознават общите за тези области стилове на писане. 

Освен това, демонстрирайки вече доказаната ефективност на своя детектор, Дезър и неговият екип са на прав път. Според тях, след като бъде разработен ефективен метод за откриване на съдържанието от конкретна област, това ще бъде лесно да се приложи и в други сфери.