Проучване установи: потребителските ИИ-ботове в 80% от случаите поставят неверни диагнози

Универсалността на популярните чатботове по отношение на търсенето на необходима информация, както се оказва, не ги прави подходящи за поставяне на точни медицински диагнози при ограничени данни. В повече от 80% от случаите чатботовете поставят грешни диагнози, което ги прави неподходящи като заместител на консултацията с истински медицински специалист.

Проучване, публикувано в Jama Network Open, цитирано от Financial Times, използва 29 клинични случая от справочна медицинска литература, за да тества диагностичната ефективност на популярните чатботове. Проучването установи, че когато се представя ограничена информация за симптомите, големите езикови модели се затрудняват да изберат възможните диагнози и често се ограничават до една единствена опция, на която не може да се разчита за по-нататъшно лечение. Ако входните данни са достатъчно подробни, подобни проблеми с точната диагноза вече не се наблюдават.

По време на експеримента медицински данни, включително медицинска история, резултати от прегледи и резултати от лабораторни изследвания, на етапи са подавани към чатботове. На чатботовете са задавани въпроси относно диагнозата на заболяването и са измервани точността и пълнотата на техните отговори. В обхвата на тестовете са попадали десетки популярни чатботове, включително тези, разработени от OpenAI, Anthropic, Google, xAI и DeepSeek. Без пълна информация за пациента, всички те демонстрират склонност към погрешно диагностициране в повече от 80% от случаите. Колкото по-пълна е информацията, толкова по-точни са резултатите. В най-добрите случаи точността надвишава 90%; в средния случай погрешните диагнози се срещат в по-малко от 40%.

Google и Anthropic заявиха, че техните чатботове силно препоръчват консултации със специалисти, когато потребителите търсят медицински съвет. OpenAI посочва в условията си за ползване, че те не трябва да се използват за получаване на медицински съвет, което изисква лиценз. xAI и DeepSeek отказаха коментар по този въпрос пред Financial Times. Някои от тези разработчици създават високоспециализирани медицински модели. AMIE на Google, например, е демонстрирал добри резултати, но е трудно да се разчита напълно на заключенията му, както отбелязват медицински експерти, тъй като човешкият лекар разчита до голяма степен на визуална оценка на състоянието на пациента. Такива ИИ-модели обаче имат място в регионите, където достъпът до качествена медицинска помощ в класическия смисъл е ограничен.