ИИ аспирант щурмува бастионите на научния свят

Нов ИИ модел провежда експерименти и пише впечатляващи статии, но трябва ли да му се вярва?

Международен екип от изследователи е създал система, която може самостоятелно да провежда научни експерименти. Този „ИИ учен“ (AI Scientist), както са го нарекли разработчиците, демонстрира знания и умения, сравними с тези на начинаещ аспирант.

Конг Лу от Университета на Британска Колумбия, който е ръководител на проекта, разказва за неочакваните резултати от експеримента. Според него системата е проявила изненадваща креативност при генерирането на научни хипотези. Въпреки това, подобно на млад изследовател, повечето от идеите са се оказали нежизнеспособни. При създаването на модела разработчиците са се сблъскали с редица проблеми. ИИ изпитвал затруднения при писането на последователни научни статии и понякога интерпретирал погрешно резултатите.

Особена загриженост предизвика склонността на системата да „халюцинира“ – да генерира невярна информация. Въпреки ясните инструкции да използва само проверени данни, ИИ все пак си измисля факти. Изследователите оценяват честотата на подобни случаи на по-малко от 10%, но дори и това число се счита за неприемливо, когато става дума за научна работа.

Проектът обединява усилията на учени и специалисти от базирания в Токио стартъп Sakana AI. Екипът публикува предварителните резултати от изследването на сървъра на ArXiv. В статията те нарекоха своето творение „начало на нова ера в научните открития“ и „първата цялостна система за напълно автоматизирани научни изследвания“.

Идеята за използване на изкуствен интелект за научни изследвания не е нова: тя датира от 2020 г., когато Google DeepMind представи AlphaFold – система, която изуми биолозите със способността си да прогнозира 3D протеиновите структури с безпрецедентна точност. Оттогава насам тенденцията е възприета от редица големи корпорации.

Изследователите тестват възможностите на своята система в областта на компютърните науки. ИИ е изучавал големите езикови модели, залегнали в основата на чатботове като ChatGPT, както и дифузионни модели, използвани в генератори на изображения като DALL-E.

Процесът на работа на един учен в областта на ИИ включва няколко стъпки. Първо, системата генерира хипотези, като ги оценява по критериите интерес, новост и осъществимост. След това тя проверява оригиналността на идеите чрез базата данни Semantic Scholar. След това изкуственият интелект използва асистента за проектиране Aider, за да провежда експерименти и да регистрира резултатите. Въз основа на данните системата може да генерира идеи за последващи експерименти, което ѝ позволява да насочи изследването в правилната посока.

На следващия етап моделът написва научна статия, следвайки шаблон, базиран на изискванията на научните конференции. Поради трудността да се създаде цял текст от девет страници, изследователите са разделили процеса на много стъпки. Програмата пише един по един разделите, като ги проверява за повторения и противоречия. След това тя се връща към Semantic Scholar, за да намери цитати и да състави библиография.

Интересна функция е вграденият модул за преглед. Той оценява генерираните статии, като използва критерии, подобни на изискванията на водещата конференция по изкуствен интелект NeurIPS. Според Лу този модул се оказва дори по-строг от човешките рецензенти.

Въпреки впечатляващите резултати, проектът предизвика критики от страна на някои учени. Така например Дженифър Листгартън, професор по компютърна биология в Калифорнийския университет в Бъркли, подчерта, че за разлика от обработката на естествения език и компютърното зрение повечето научни области не разполагат с достатъчно данни за обучение на подобни ИИ модели.

Антропологът Лиза Месери от Йейлския университет и психологът М. Д. Крокет от Принстън предупредиха да не се увличаме твърде много по идеята за „автономни изследователи на ИИ“. Те се опасяват, че това може да стесни кръга от научни въпроси до такива, подходящи за ИИ, и да лиши науката от разнообразието от гледни точки, необходимо за истински иновации.

От друга страна, Тарек Безолд, водещ учен в SonyAI, смята проекта за важна стъпка напред. Той вярва, че разработката може да бъде един от първите прототипи, които да демонстрират потенциала на прилагането на ИИ в научните открития. Екипът на Лу планира да продължи да усъвършенства своя ИИ учен. Според изследователите подобни инструменти ще бъдат особено полезни в ранните етапи на изследователските проекти, помагайки на учените да оценяват различните направления на работа.