Изкуственият интелект се научи да открива невярната информация

Научните изследвания може скоро да претърпят фундаментални промени — изкуственият интелект се е доказал като ненадминат човешки инструмент за анализиране на невъобразими обеми специализирана литература. В експеримент AI е успял да оцени фалшивите и истински научни открития по-точно от човешките експерти. Това ще улесни научните изследвания за хората, позволявайки на машините да пресяват тонове сурова информация в търсене на обещаващи насоки.

От самото начало разработчиците на генеративен AI (ChatGPT и други) са фокусирани върху способността на големите езикови модели (LLM) да отговарят на въпроси чрез обобщаване на огромните данни, върху които са обучени. Учените от University College London (UCL) са си поставили друга цел, която трябва да установи дали LLM могат да синтезират знанията си — да извличат модели от научната литература и да ги използват за анализ на нови научни статии? Опитът показва, че AI може да надмине хората по отношение на точността на оценяване на прегледаните документи.

„Научният прогрес често се основава на опити и грешки, но всеки внимателен експеримент изисква време и ресурси. Дори най-опитните изследователи могат да пропуснат важни изводи от литературата. Нашата работа изследва дали LLM могат да откриват модели в големи научни текстове и да предсказват резултатите от експериментите“ — обясняват авторите на работата. Не е трудно да си представим, че използването на AI в проверката на информация ще отиде далеч отвъд обикновеното откриване на знания. Това може да се окаже пробив във всички области на науката, спестявайки време и пари на учените.

Експериментът се основава на анализа на пакет от научни статии по невробиология, но може да бъде разширен до всяка област на науката. Изследователите са подготвили много двойки резюмета, състоящи се от една истинска научна статия и една фалшива — съдържаща правдоподобни, но неверни резултати и заключения. Двойките документи са анализирани от 15 LLMs с общо предназначение и 117 експерти по човешки невронауки. Трябвало е да отделят истинските произведения от фалшивите.

Всички LLM-и са надминали невролозите, като точността на AI е средно 81%, а тази на човека е средно 63%. Когато най-добрите човешки експерти анализират документите, точността се увеличава до 66%, но не се доближава до точността на AI. И когато LMM е специално обучен на невронаучни данни, точността на прогнозата се увеличава до 86%. Изследователите казват, че откритието проправя пътя към бъдеще, в което човешките експерти биха могли да си сътрудничат с добре калибрирани модели.

Извършената работа също така показва, че повечето от новите открития изобщо не са нови. AI перфектно разкрива тази характеристика в съвременната наука. Благодарение на новия инструмент учените поне ще знаят дали избраната от тях област на изследване си струва да се преследва или е по-лесно да търсят резултатите от него в интернет.