ChatGPT се представи много добре на изпитите за правото за практикуване на медицина

Учените от най-различни области започнаха да проверяват и оценяват ефективността на езиковия модел на чатбота ChatGPT, като този път изкуственият интелект бе проверен дали ще може да вземе изпитите за получаване на медицински свидетелство, които се използват в САЩ за сертифициране на медицинските специалисти. Невронната мрежа постигна високи резултати на теста, а изследователите твърдят, че при подходящо обучение ChatGPT може да издържи всички медицински изпити от подобен род и да получи пълноценен медицински лиценз за територията на САЩ.

Изследователският екип тества възможностите на ChatGPT на изпита за медицинска правоспособност USMLE (United States Medical Licensing Examination). Самият тест се състои от три етапа и е задължителен за всички студенти по медицина в САЩ, които възнамеряват да практикуват тази професия.

За проверката на ChatGPT е използван голям тест, съставен от 376 въпроса с отворен отговор, които са взети от медицинските изпити от месец юни 2022 година. Всички въпроси са публикувани в уеб сайта на USMLE. Учените са проверили и въведените данни, за да се уверят, че въпросите не са индексирани от Google. Самите въпроси са подадени в написан на машина вид, а въпросите с изображения и графики са премахнати. В крайна сметка са останали общо 305 въпроса.

Останалите след това филтриране въпроси са разделени на 3 категории:

• Въпроси със свободен отговор;
• Въпроси с избор между няколко отговора без аргументация;
• Въпроси с множествен избор и обосновка.

Изпитните въпроси са подавани последователно на ChatGPT, като за всеки въпрос е стартирана нова сесия, за да се избегнат проблеми с паметта от страна на сървъра, а всички отговори са записани в обща таблица с резултатите.

Трима независими лекари с опит в оценяването на изпитни листове за USMLE са били поканени да оценят резултатите. Двамата от тези три специалиста са проверявали отговорите на ChatGPT за точност, коректност и последователност. Третият оценител е оценявал отговорите, на които изкуственият интелект не успял да отговори успешно при първия етап на изпита. Изследователите отбелязват, че само 3,6 % от отговорите са изисквали допълнителна проверка от третия проверяващ.

Получените резултати от това проучване показват, че ChatGPT дава отговори и обяснения към тях с висок процент на последователност и точност. Езиковият модел е отговорил на въпросите с точност от над 50%, докато USMLE изисква резултат от 60%, за да бъде считат изпитите за взети. Това означава, че ChatGPT е съвсем близо до прага за успешно полагане на изпитите и получаване на медицинско свидетелство.

Преди това, базираният на мощен изкуствен интелект ChatGPT много добре се представи на изпитите за магистър по икономическо управление и бизнес администрация.