Новият AI инструмент Theorizer формулира научни теории само за 30 минути

Институтът „Алън“ за изкуствен интелект (Ai2) представи Theorizer – AI фреймуърк, с който се създават научни теории. За разлика от конвенционалните невронни мрежи, които просто преразказват статиите, Theorizer анализира огромни количества литература, за да открие скрити модели. Системата превръща хаоса от хиляди публикации в конкретни модели, приложения и доказателства. На изкуствения интелект са необходими само 30 минути, за да свърши работа, която би отнела месеци на един учен.

Theorizer отговаря на ключов въпрос: дали AI може самостоятелно да синтезира научни теории въз основа на научната литература. Потребителят формулира заявка от типа „създай теории за Х“, след което системата проучва съответните публикации и изготвя набор от обобщения за идентифицираните модели, условията за тяхната приложимост и потвърждаващите ги данни. По замисъл това осигурява преглед на теоретичния ландшафт за броени минути, който би отнел на човека месеци работа.

За разлика от инструментите, които перифразират различните статии или съставят прегледи на литературата, Theorizer идентифицира последователните модели, които се повтарят в различните изследвания. Всяка теория е представена по структуриран начин: „закон – област на действие – доказателства“ и получава заглавие и кратко описание. По правило една теория съдържа 1-2 закона, формулирани като качествени или количествени зависимости. Обхватът определя при какви условия законът е валиден, какви са ограниченията и изключенията. Като доказателство се използват емпирични и наблюдателни данни, например резултатите от проведени експерименти.

Работата на системата е структурирана като многоетапен конвейер. Първо, Theorizer изгражда корпус от литература, като избира до 100 подходящи статии чрез Semantic Scholar и други инструменти. След това извлича ключовите същности и емпиричните резултати от тях, като използва предварително генерирана схема, съобразена с конкретната заявка.

На последния етап тези данни се обобщават и от тях се формират кандидат-теории, които след това преминават през етап на самооценка и усъвършенстване. Една заявка се изпълнява за 15-30 минути.

За да оценят качеството на генерираните теории, изследователите са разработили специален бенчмарк. Той взема предвид пет критерия: специфичност, емпирично потвърждение, прогнозна точност, новост и правдоподобност. Валидирането показа, че теориите, основани на литературния анализ, значително превъзхождат тези, които изкуственият интелект генерира само въз основа на своите параметрични знания.

Особено внимание беше обърнато на способността на Theorizer да прогнозира бъдещи научни резултати. За тази цел системата беше стартирана с фиксирана „крайна дата“ за знания: теориите бяха генерирани въз основа на по-ранна литература. След това изкуственият интелект анализира по-новите публикации и определя дали те подкрепят, противоречат или в тях липсват съответните данни. Общо 3000 закона бяха проверени по този начин въз основа на 4500 статии и повече от 16 000 сравнения между закони и публикации. Анализът показа, че теориите, основани на систематичен преглед на литературата, предоставят по-точни и проверими прогнози, особено при генерирането на нови, нетривиални модели.

Разработчиците подчертават, че Theorizer е изследователски инструмент, а не „истина от последна инстанция“. Неговите заключения трябва да се разглеждат като отправна точка за по-нататъшна работа. Заедно със системата авторите са публикували изходния код, интерфейса и набора от данни с около 3000 теории в областта на изкуствения интелект и обработката на естествен език. Според тях подобни инструменти помагат да се ориентираме в бързо нарастващия обем от научни публикации и опростяват прехода от разнородните резултати към теоретичните обобщения.