ИИ моделите могат да предизвикат криза на възпроизводимостта в науката

Учените са обезпокоени, че неграмотното използване на изкуствения интелект води до поток от ненадеждни или безполезни изследвания. Това може да доведе до криза във възпроизводимостта на научната работа. Моделите на изкуствения интелект страдат от пристрастия и грешки, които се пренасят в научните трудове. В медицината това може да доведе до погрешни диагнози. За да се подобри надеждността и възпроизводимостта на резултатите, се предлагат интердисциплинарни подходи, прозрачност на данните и стандартизирани списъци за отчитане на научната работа.

В отделен обзор от 2021 г. са разгледани 62 проучвания, в които е използвано машинно обучение за диагностициране на COVID-19 с помощта на рентгенография на гръдния кош или компютърна томография.

Нито един от моделите с изкуствен интелект не е доказал своята клинична полезност поради методологични недостатъци или предубеждения в наборите от данни за изображенията.

Подобно на всеки нов мощен статистически метод, ИИ допуска изследователите да се заблуждават, че търсят конкретен резултат. Изследователите могат да си „играят“ с данните и параметрите, докато резултатите станат както се очаква. Невероятната гъвкавост и приспособимост на ИИ, както и липсата на строгост при разработването на тези модели, предоставят твърде голяма свобода на действие.

Друг проблем при машинното обучение е т.нар. изтичане на данни. При обучението алгоритмите използват много данни, за да се научат как правилно да решават проблемите, като например да класифицират изображения. След това тяхната ефективност се тества върху непознати (тестови) данни. За да се получи надеждна оценка, е важно да се разделят обучаващите и тестовите набори. Изследователите обаче не винаги спазват това разделяне или не разбират как да го наложат. В резултат на това се получава изтичане на данни, когато информация от тестовия набор влиза в обучаващия набор, което изкривява резултатите.

Този проблем е причинил трудности с възпроизводимостта на изследванията в 17 области и е засегнал стотици научни трудове. Ако се приложи това в медицината, алгоритъмът за машинно обучение може да започне да идентифицира характеристики на определен пациент или медицински инструмент, а не действителните признаци на дадено заболяване. Това може да доведе до погрешни диагнози.

Наборът от тестови данни може да не отразява реалните условия. В такъв случай моделът на изкуствения интелект ще покаже достоверни резултати върху тестовите данни, но в реалността той ще бъде безполезен. В живота има несравнимо повече вариации, отколкото в контролираната лабораторна среда, и моделите на изкуствения интелект често не се тестват за устойчивост на такива вариации, преди да бъдат пуснати в употреба.

Така например изследователи от Google Health са разработили AI модел за анализ на изображения на ретината с цел откриване на признаци на диабетна ретинопатия, водеща до слепота. Когато моделът бе тестван в няколко клиники в Тайланд, той отхвърли много изображения, които не бяха направени при идеални условия, тъй като бе обучен на висококачествени сканирания. Това е довело до необходимостта от допълнителни посещения на пациентите за последващи изследвания, което е създало ненужна работа за медицинския персонал.

Ако информацията в набора от данни е небалансирана, може да се опитаме да коригираме това чрез прилагане на алгоритми за ребалансиране. Например, методът SMOTE създава синтетични данни за областите с недостатъчна представителност.

Използването на SMOTE обаче води до прекалено оптимистични оценки на ефективността, тъй като попълва набора със синтетични данни въз основа на несъществуващи предположения.

Изследователите предложиха решение на проблема чрез използване на списък със стандарти за отчитане на научната работа, базирана на изкуствен интелект. Списъкът съдържа 32 въпроса относно фактори като качество на данните, подробности за моделирането и рискове от изтичане на данни. Те твърдят, че списъкът „установява интердисциплинарни стандарти за докладване на научните изследвания, базирани на машинно обучение“.

За да се повиши надеждността на научните изследвания, базирани на ИИ, те трябва да се провеждат от интердисциплинарни екипи, твърдят някои учени. Така например компютърните специалисти знаят как да събират и обработват масиви от данни, докато биолозите разбират експерименталната сложност на получаването на данни. Ето защо те трябва да работят съвместно. Някои представители на научната общност считат, че след 10 до 20 години ще има по-добро разбиране за това какво предлага ИИ и как да се използва. Поне за генеративния ИИ възпроизводимостта може да се подобри, тъй като използваните модели ще бъдат по-добре съгласувани.