Грамотно написаните заявки в ChatGPT могат да спасят животи – по-добре е да не правите правописни грешки

Оказва се, че ИИ-чатботовете, като ChatGPT, са изключително чувствителни към правописа, според проучване на медицинските AI-чатове.

Изследователи от MIT отбелязват, че ИИ-чатботът е по-вероятно да посъветва пациент да не търси медицинска помощ, ако съобщенията му съдържат печатни грешки. Това са много малки грешки, като например допълнително разстояние между думите.

Съветите на медицинските ботове също са повлияни от използването на жаргон или цветист език. Изследванията показват, че жените са непропорционално засегнати от това и е по-вероятно да бъдат погрешно посъветвани да не посещават лекар, отколкото мъжете. Освен това, пристрастията в запитванията или дори тонът могат фино, но забележимо да променят съвета.

Все още предстоящо проучване, публикувано в ACM, повдига опасения относно използването на моделите с изкуствен интелект в болниците. Доставчиците на здравни услуги вече използват чатботове, за да насрочват прегледи на пациенти, да разпределят пациенти въз основа на заявките и да действат като съветници на терен. Хората като цяло се затрудняват да обясняват чувствата си и в някои ситуации физически не са в състояние да го направят адекватно. Пациентите могат да се колебаят и да използват думи като „може би“ и „предполагаемо“, което също влияе върху реакцията им.

Изследователите са оценили няколко модела, включително GPT-4 на OpenAI, LLama-3-70b с отворен код на Meta и медицинския изкуствен интелект Palmyra-Med. Те са симулирали хиляди случаи, използвайки комбинации от реални анкети с пациенти. Преди да предоставят тези данни на моделите, са добавени горните вариации, за да се проучат как реагират ботовете. Тези промени са направени, без да се засягат клиничните данни, а само правописът и формулировките.

Нестандартният стил на писане очевидно променя възприятието на изкуствения интелект. Когато се сблъскват със стилистични акценти, чатовете със 7-9% са по-склонни да предложат на пациента да лекува симптомите си сам, вместо да посещава лекар.

„Тези модели често се обучават и тестват върху въпроси от медицински прегледи, но след това се използват за задачи, които са доста отдалечени от това, като например оценка на тежестта на клиничен случай. Все още има толкова много неща, които не знаем за LLM“ — пише водещият автор Абинита Гурабатина, изследовател в катедрата по електротехника и компютърни науки на MIT.

Изкуственият интелект също така възпроизвежда, ако не и преувеличава, предразсъдъците, които човешките лекари проявяват, особено по отношение на пола. Защо на пациентите жени е по-вероятно да се препоръчва самолечение, отколкото на пациентите мъже? Може ли това да има нещо общо с факта, че лекарите в реалния живот често омаловажават медицинските оплаквания на жените? Изследователите смятат, че медицинските ИИ трябва да бъдат щателно тествани и че отстраняването на всички открити недостатъци ще бъде трудно. Но е почти сигурно, че ИИ ще бъде по-внимателен при писането на рецепти на хартия.