Защо ИИ няма да ви постави правилната диагноза, въпреки че знае повече от лекарите?

Съвременните големи езикови модели (LLM) са прочели на практика всеки един медицински учебник, научна статия и клиничен протокол, съществуващи в дигитален вид. В много тестове те показват резултати, превъзхождащи тези на студентите по медицина. Въпреки това, ако попитате ИИ чатбот за своите симптоми, шансът да получите грешна или опасна диагноза остава висок. Нека се спрем по-подробно.

ИИ чатботовете вече издържат медицинските изпити по-добре от повечето лекари. Очакванията към тези системи са големи: вече се появяват услуги, които гарантират, че ще разпознават болестите по симптомите по-бързо от лекарите. Но когато обикновените хора се опитат да ги използват, за да разберат симптомите си, резултатите не са с нищо по-добри, както и без какъвто и да било ИИ. Мащабно проучване, публикувано в Nature Medicine, за първи път показа къде точно се прекъсва веригата между знанията на модела и реалната полза за пациента. И причината е неочаквана: проблемът не е в знанията на ИИ, а в начина, по който хората разговарят с него.

По какъв начин ИИ поставя диагнозите: резултатите от новото проучване

Изследването е проведено от учени от Оксфордския университет в сътрудничество с организацията MLCommons и други институции. Близо 1300 участници са получили описания на десет типични медицински ситуации и са били разпределени на случаен принцип: едните са използвали чатботове (GPT-4o, Llama 3 и Command R+), а другите са използвали всякакви известни източници на информация (контролната група).

След като взаимодействат с бота, участниците са попитани за две неща: какво заболяване може да обясни описаните симптоми и къде да потърсят помощ. Когато същите чат-ботове били тествани „сами“, без човек, те идентифицирали правилното заболяване в 94,9 % от случаите. Но когато с ботовете работели истински хора, точността спаднала до по-малко от 34,5 процента. При това участниците в групата с изкуствен интелект не се справили по-добре от контролната група, която изобщо не е използвала чатботове.

С други думи, чатботът, който блестящо отговаря на изпитните въпроси, се оказва безполезен, когато пред клавиатурата седне обикновен човек. И това прави темата още по-объркваща, защото има отделни случаи, в които ChatGPT е успял да диагностицира състояния, при които лекарите дълго време не са могли да помогнат, и с това само са засилили вярата на хората в „медицината чрез чат“.

Защо изкуственият интелект издържа медицинските изпити, но не помага на пациентите

Ето в какво се състои парадоксът: езиковите модели вече постигат почти перфектни резултати на изпитите за медицински лиценз. Мета-анализ на 120 теста установи, че GPT-o1 постига 95,4% точност при въпросите за медицински лиценз, DeepSeek-R1 – 92% точност, а GPT-4o – 89,4% точност. Казано по-просто, тези модели познават медицината по-добре от много от завършилите медицина.

Но изпитът не е среща с лекаря. По време на изпита моделът получава ясно формулиран въпрос с всички необходими данни. Реалният живот е различен. Когато изследователите проучили транскрипциите на диалозите, те установили, че ботът често споменава правилната диагноза някъде в разговора, но потребителите не я забелязват или не я помнят. В други случаи хората са давали непълна информация и ботът е тълкувал погрешно редица ключови детайли. Проблемът не е бил в медицинските познания – а в комуникацията между човека и машината.

Представете си: имате енциклопедия с правилния отговор, но тя е написана така, че не можетелесно да намерите правилната страница. Знанието е налице, само че не можете да го намерите. Рискът също е по-висок, защото ботът често се съгласява с потребителя, вместо да спори, да изяснява детайли и да говори като лекар на лекарска среща.

Защо AI неправилно разбира симптомите на потребителите

За разлика от моделираните тестове, истинските хора не предоставят на ботовете цялата необходима информация. Те също така са имали затруднения при интерпретирането на опциите, предлагани от чатбота, разбирали са го погрешно или просто са игнорирали съветите му.

Проблемите в комуникацията „човек – изкуствен интелект“ могат да бъдат разделени на няколко вида:

• Непълно описание на симптомите. Пациентите не знаят кои подробности са важни и пропускат ключови факти – за разлика от лекаря, който знае как да задава уточняващи въпроси.
• Загуба на важна информация. Ботът може да назове правилната диагноза по средата на разговора, но потребителят не е обърнал внимание на това сред потока от текст.
• Неправилно тълкуване. Хората разбират препоръките на бота по свой собствен начин, понякога точно обратното на това, което той има предвид.

Някои експерти посочват, че ботовете трябва сами да задават уточняващи въпроси – както правят лекарите. „Наистина ли потребителят е отговорен за това да знае какви симптоми да подчертае, или отчасти задачата на модела е да знае какво да попита?“ – отбелязват изследователите.

Защо лекарят разбира пациента по-добре от изкуствения интелект

Съществува фундаментална разлика между начина, по който лекарят общува с пациента, и начина, по който го прави чатботът. Медицината често се определя по-скоро като изкуство, отколкото като наука. Консултацията е нещо повече от просто определяне на правилната диагноза: тя включва тълкуване на историята на пациента, справяне с несигурността и споделено вземане на решения.

За тази цел от десетилетия съществува моделът Калгари-Кембридж – метод за структуриране на медицинските консултации, който обхваща всичко – от инициирането на срещата и събирането на информация до обясняването на резултатите и съвместното планиране на лечението. Този подход включва изграждане на доверие с пациента, събиране на информация чрез точни въпроси, разбиране на неговите тревоги и очаквания, ясно обяснение на резултатите и съгласуване на плана за действие. Всичко това разчита на човешката комуникация, адаптивната връзка, разясненията, деликатните насочващи въпроси, чувствителната към контекста преценка и доверието. Тези качества не могат да бъдат сведени до разпознаване на шаблони.

С други думи, лекарят се учи не само да знае отговора, но и да може да го „измъкне“ от пациента, който невинаги разбира какво се случва с него. Чатботът все още не умее да прави това.

Къде днес изкуственият интелект вече е наистина полезен в здравеопазването

Означава ли всичко това, че ИИ е безполезен в здравеопазването? Не. Но според проучването нито един от тестваните чатботове не е „готов да бъде внедрен в пряка грижа за пациентите“.

Авторите на проучването предлагат да се мисли за чатботовете не като за лекари, а по-скоро като за секретари: те са чудесни в организирането на информация, съставянето на резюмета и структурирането на сложни документи. Именно при такива задачи ИИ вече е от реална полза в медицината – например при съставяне на клинични досиета, обобщаване на истории на заболяванията или изготвяне на направления. При специализирани задачи ИИ вече е в състояние да предсказва предварително рака, когато работи със структурирани медицински данни, а не във вид на свободен диалог.

Всеки шести възрастен американец вече се обръща към ИИ чатботовете за медицинска информация поне веднъж месечно и този брой продължава да расте. Междувременно големите разработчици OpenAI и Anthropic вече пуснаха специализирани медицински версии на своите чатботове и експертите смятат, че те могат да покажат различни резултати при подобни проучвания. Но засега това е само надежда.

В крайна сметка, диагнозата е акт на отговорност. ИИ не може да носи отговорност за грешка, нито може да прояви емпатия – двете неща, които остават в основата на истинското излекуване.

Основната поука от това проучване е в разминаването между референтните стойности и реалността. Полагането на изпит и оказването на помощ на жив човек са различни задачи. Точно както издържането на теоретичен шофьорски изпит не превръща човека в добър шофьор, така и блестящите резултати на медицинските тестове не превръщат езиковия модел в надежден диагностик. Това изисква съпричастност, адаптивност и способност да се работи с това, което пациентът не може или не иска да каже. Засега тези качества си остават човешка територия.