ChatGPT 4 може да генерира висококачествени фалшиви данни в подкрепа на научни хипотези

Учени установиха, че GPT-4 ADA, най-новата високопроизводителна версия на големия езиков модел на OpenAI, на който се базира ChatGPT, е способен да генерира фалшиви набори от висококачествени данни за клинични изследвания, които могат да се използват например за потвърждаване на научна хипотеза. Данните, генерирани от изкуствения интелект в рамките на проучване, сравняващо два хирургически протокола, фалшиво и съвършено неправилно показват, че единият е по-добър от другия. Тази констатация поражда опасения относно интегритета и валидността на научните изследвания в ерата на изкуствения интелект.

След появата си през първото тримесечие на тази година GPT-4 се разграничи от предишните версии, като значително подобри семантиката на генерираните отговори. Неотдавна неговите възможности бяха разширени с Advanced Data Analysis (ADA) – модел, който използва езика за програмиране Python и позволява както статистически анализ, така и създаване на визуализации на данни.

Въпреки че GPT-4 ADA има потенциала значително да ускори научните изследвания, експертите са загрижени за възможността за неетично използване. В крайна сметка функционалността на модела може да позволи генерирането на висококачествени фалшиви аналитични и статистически данни. Изследователи от италианските университети Magna Graecia de Catanzaro и Cagliari провериха тази хипотеза, като накараха модела да сравни два хирургически протокола, без да разчита на емпирични данни. Резултатите от валидирането са описани подробно в списание JAMA Ophthalmology.

Резултатите са в противоречие с данните от реалните клинични тестове

Данните, получени от GPT-4 ADA, се отнасят до лечението на кератоконус – очно заболяване, което причинява деформация на роговицата и води до увреждане на зрението. В 15-20% от случаите лечението изисква трансплантация на роговица, като се използват два хирургични протокола. Първият, наречен пенетрираща кератопластика (PK), включва отстраняване на цялата увредена роговична тъкан и замяната ѝ със здрава тъкан от донор. Вторият метод, наречен дълбока предна ламеларна кератопластика (DALK), включва подмяна само на външния слой на роговицата, като вътрешният слой остава непокътнат.

Изследователите поискаха от AI да представи данни в подкрепа на заключението, че DALK води до по-добри резултати от PК, като използваха извадка от 300 пациенти. За тази цел ИИ е трябвало да покаже статистически разлики за тестовете за визуализация, оценяващи формата и неравностите на роговицата. Данните също така е трябвало да се отнасят до подобрението на зрителната острота на пациентите след процедурите.

Изкуственият интелект потвърди, че DALK е по-ефективната процедура, което противоречи на резултатите от реалните клинични изпитвания, които, наред с другото, показват, че резултатите от двете процедури са сходни дори 2 години след операцията.

„Нашата цел беше да покажем, че само за няколко минути е възможно да се създаде набор от данни, който не е подкрепен от реални необработени данни и също така противоречи на наличните доказателства“, обяснява съавторът на изследването Джузепе Джанакаре, офталмолог от университета в Каляри.

Тези резултати показват, че изкуственият интелект, ако бъде помолен, не се колебае да измисли фалшиви данни, за да потвърди дадена хипотеза. Това е още по-притеснително, защото за неинформирания читател тези данни изглеждат наистина достоверни.

„Едно нещо е, когато генеративният изкуствен интелект може да се използва за създаване на текстове, които не могат да бъдат открити от софтуер за борба с плагиатството, но способността да се създават реалистични набори от фалшиви данни представлява друго ниво на тревога“, казва микробиологът и независим изследовател Елизабет Бик.

Подобна техника би позволила лесно да се създават фалшиви данни за измервания на несъществуващи пациенти или за in vitro и in vivo експерименти, които никога не са били извършвани. Освен това партньорската проверка често се спира, преди данните да бъдат повторно напълно анализирани, което означава, че ще бъде трудно да се разграничат данните, получени с помощта на изкуствен интелект, преди да бъдат приети за публикуване.

Необходимост от актуализиране на системата за контрол на качеството

По мнението на друга група експерти, въпреки че данните, получени с помощта на GPT-4 ADA, изглеждат априори надеждни, те все пак съдържат многобройни несъответствия, които могат да бъдат установени чрез внимателно проучване. Според експертите след анализ на данните с помощта на протокол, специално разработен за проверка на тяхната валидност, е било почти невъзможно да се установят реалистични връзки между променливите.

Например за много от участниците в проучването посоченият пол не съответствал на пола, който обикновено би се очаквал въз основа на името на лицето. Също така нямаше корелация между мерките за зрителните способности и очната визуализация преди и след операцията. Освен това при проверка на статистическото разпределение някои колони с данни показаха необичайно струпване на стойности. Например непропорционално голям брой участници, чиято възраст завършвала на 7 или 8 години.

Тези резултати показват, че все още е възможно да се провери автентичността на данните. Но какво ще се случи с новите модели на изкуствения интелект? Констатациите също така подчертават значението на актуализирането на протоколите за контрол на качеството на научните списания, за да се идентифицират данните (и статиите), потенциално генерирани от ИИ.

Освен това „както ИИ може да е част от проблема, така може да има и решения, базирани на ИИ, за част от проблема“. „Може би бихме могли да автоматизираме някои от тези проверки“, предполага Джак Уилкинсън, биостатистик от Университета в Манчестър, Великобритания, един от експертите, анализирали данните от GPT-4 ADA.

Той обаче добавя, че генеративният изкуствен интелект вероятно ще успее да намери начини да заобиколи тези протоколи. Ето защо научната общност и издателите ще трябва да удвоят усилията си, за да гарантират автентичността на публикуваните данни и да предотвратят дезинформацията.