ChatGPT само за един час от нулата написа стойностна научна работа

Двама биолози от Израел създадоха академична статия за по-малко от час с помощта на ChatGPT. Текстът е лесен за четене, остроумен и отговаря на изискванията за структурата на научен труд. Въпреки това, както се оплакаха авторите, те е трябвало да преодолеят множество трудности, преди да успеят да постигнат подобен резултат. А лесната употреба на инструмента и неговите недостатъци карат хората да се притесняват за бъдещето на науката.

Целта на експеримента бе да се проучи потенциалът на ChatGPT като партньор в научното писане. Според учените е необходимо да се започне дискусия в академичната общност за предимствата и недостатъците на моделите с изкуствен интелект, за да се изработи най-безопасният и лесен начин за използване на тази технология в полза на науката.

Рой Кишони и Тал Ифарган от института „Технион“ в Хайфа накараха ChatGPT да напише код, който да се използва за търсене на закономерности в данните. При първия опит чатботът генерирал неизползваем код, пълен с грешки. Но когато учените изчистили грешките и отново подали тази информация на изкуствения интелект, машината им дала това, което искали, пише Nature.

При наличието на по-структурирани данни Кишони и Ифарган накараха ChatGPT да им помогне в проучването. Ботът ги посъветвал да проучат как физическата активност и диетата влияят върху риска от диабет. След като генерирал още код, ботът показал резултатите: консумацията на плодове и зеленчуци плюс физическата активност корелирали с по-нисък риск от диабет. След това ChatGPT е съпоставил основните констатации в таблица и самостоятелно е написал глава с резултатите. Стъпка по стъпка учените са накарали бота да напише правилните глави: въведение, методология на изследването и други. Накрая те го накарали да подобри представянето си.

В този си вид обаче, въпреки че статията е станала четивна и научна, тя все още е била далеч от съвършенството. По-конкретно, авторите са се сблъскали със склонността на ChatGPT да измисля факти (феноменът на халюцинацията), с който се сблъскаха използвали чатбота юристи и специалисти от най-различни други области. В този случай ботът измислял несъществуващи цитати и неточно предавал информацията.

Вторият проблем, който тревожи учените, е възможността този инструмент да се използва за порочния метод p-hacking за търсене на статистически значими модели, при който на читателя се съобщава само резултатът, който е подходящ за автора.

Третият проблем е, че лекотата, с която могат да се пишат статии с помощта на езиковите модели с изкуствен интелект, ще доведе до наплив от публикации с ниско качество (нещо, което вече се случва в други области на издателската дейност).