Проучване: ChatGPT често дава грешни отговори на научни въпроси – AI няма реална представа за нещата

Професорът от Университета на щата Вашингтон Месут Чичек и неговият екип провериха колко точно ChatGPT определя верността на научните хипотези. Изследователите предоставиха на AI 719 твърдения от бизнес списания и го помолиха да определи дали те са потвърдени от изследвания или не, задавайки един и същ въпрос по 10 пъти, за да проверят последователността.

През 2024 година точността на ChatGPT-3.5 е била 76,5%, а през 2025 година при обновения AI модел ChatGPT-5 mini тя е нараснала до 80%. Въпреки това, след корекция за случайно познаване, реалната ефективност на AI се е оказа само с 60% по-висока от случайността.

Системата се справяше особено зле с откриването на неверни твърдения, като ги определяше правилно само в 16,4% от случаите. Ключовият проблем се оказа непоследователността. Дори при идентични запитвания AI даваше различни отговори в 27% от случаите.

„Говорим не само за точност, но и за непоследователност. Задавате един и същ въпрос отново и отново и получавате различни отговори. Настоящите AI инструменти не разбират света така, както ние. Те просто запомнят и могат да дадат някаква представа, но не разбират за какво говорят.“

обясни Месут Чичек

Резултатите от проучването, публикувани в Rutgers Business Review, показват, че AI няма истинско разбиране върху нещата. Изследователите призовават да се разчита с предпазливост на AI при важни решения, изискващи сложни разсъждения и винаги да се проверява генерираната информация.

Това проучване е важно напомняне за всички, които използват AI в работата или ученето. Въпреки впечатляващия напредък, големите езикови модели все още остават усъвършенствани „статистически папагали“, а не мислещи системи. Критичната проверка на техните заключения продължава да е от изключителна важност.