След появата на AI: Научните статии са в пъти повече, но качеството им е по-ниско

Широкото разпространение на големи езикови модели (LLM) очаквано доведе до използването им при писането на научни статии. В тази връзка група учени се опита да даде количествена оценка на използването на AI при подготовката на подобни публикации.

Резултатът е смесен: и добър, и лош. Засега ситуацията се спасява отчасти от рецензентите, но ако и те се доверят на AI, ще има проблеми.

Засега положението отчасти се спасява от рецензентите, но ако и те се доверят на AI, ще има проблеми.

Тъй като естествено заблуждаващи статии започнаха да се появяват дори във високорейтингови научни списания, за което свидетелства увеличеният брой рецензии на статии след публикуването им, учени от университетите Бъркли и Корнел анализираха използването на AI при подготовката на научни статии. Те са взели интервала между 2018 и средата на 2024 година, като са обхванали периодите преди появата на големи езикови модели и след това.

Общо те са анализирали около 2 милиона статии от сайтовете за предпечатна подготовка arXiv (1,2 милиона) и онлайн списанията SSRN (675 хиляди) и bioRxiv (220 хиляди). Изследователите са пуснали резюметата на ранните публикации (без AI) през модела, след това са ги обработили с AI редактор и са ги пуснали отново през модела, за да го научат да прави разлика между чисто човешкото и машинното творчество.

Оказа се, че след началото на използването на изкуствен интелект, авторите значително са увеличили броя на подаваните статии. Това се изразява особено силно при учените от Азия и с азиатски имена. Увеличението на броя на публикациите достига до 100% в bioRxiv и SSRN и над 40% в arXiv.

Изследователите обясняват ситуацията с това, че AI помага на учените да преодолеят езиковите бариери, тъй като за много от тях английският не е първи език. Като цяло това е било от полза, тъй като е позволило работата им да достигне до по-широка аудитория на език, който повечето хора могат да разберат.

AI също така направи текстовете „по-интелигентни“ – езиково по-сложни, което придало по-голяма достоверност на публикациите. Средностатистически хората пишат по-просто и невинаги предават ясно мислите си. В цялото това нещо обаче има и отрицателна страна: текстовете, написани от AI имаха по-малка вероятност да бъдат публикувани, оставайки в статута на препринти. В същото време преминаването на дадена статия в статут на публикувана рязко повишавало стойността ѝ.

Трябва да се отбележи, че преходът към публикуване е дълъг процес, който често продължава с месеци. От това следва, че някои от статиите, създадени с помощта на изкуствен интелект все още са в междинно състояние и поради това като че ли подценяват извършената работа. С течение на времето все повече и повече статии с помощта на AI ще бъдат публикувани. По този начин връзката между яснотата на сложния език (AI) и честотата на публикуване ще се увеличава.

Друга ценност на статиите, създадени с помощта на изкуствен интелект е по-големият брой препратки към изследвания по темата, както и разглеждането на последните публикации. В това отношение AI далеч е надминал хората.

Дори научната стойност на статията, написана с помощта на AI да е ниска, само широката колекция от препратки я прави научно полезна. Очевидно това е много важно качество и то ще се развие само ако авторите на изследванията не са прекалено мързеливи, за да проверят сами всички препратки. Друга ценност на „AI“ статиите е използването на широко използвани термини вместо тясно специализирани. Това прави научните публикации разбираеми за по-широк кръг учени, което е изключително важно за интердисциплинарните изследвания.

Сред негативните фактори при използването на AI изследователите посочват значителното разминаване между красотата на представянето и действителното качество на научната работа. Атрактивната фасада може да крие посредственост, която е лесно да се пренебрегне, без да се задълбочим в темата.

Авторите на изследването признават също, че може би са подценили честотата, с която AI се използва при подготовката на научни статии, което намалява информативността на техните изводи. Например, учените може да са се доверили на AI да подготви чернова и след това да са я редактирали съществено, като напълно са премахнали машинно генерираните маркери от текста.

В крайна сметка AI е мощен инструмент за изразяване на идеи, въпреки че използването му рискува да размие стандартите за качество на научната дейност. Засега на пътя на това стоят човешките рецензенти, но те са крайно недостатъчни. Ако и те започнат да възприемат AI, ситуацията със стойността на научните публикации в съвременния свят може да се влоши още повече. Нуждаем се от разумен компромис, но той все още не е намерен.