Изследователи преброиха броя на фалшивите отговори в прегледите на Google AI – резултатите са изненадващи

Журналисти от The New York Times заедно със стартъпа Oumi, анализирайки работата на функцията AI Overviews на Google, стигнаха до заключението, че невронната мрежа генерира десетки милиони грешни отговори всеки ден, въпреки високия процент на обща надеждност на предоставените данни. Изкуственият интелект греши в около 10 % от случаите, като по невнимание предоставя на потребителите невярна информация.

За оценка на валидността беше използван SimpleQA – тест за 2024 г., разработен от OpenAI, с повече от 4000 проверени на факти въпроси. Предишната версия на модела на изкуствения интелект, Gemini 2.5, се справи с теста с 85 процента, а след неотдавнашното обновяване до Gemini 3 точността нарасна до 91 процента. Въпреки това, като се има предвид огромният обем на трафика на търсене в Google, подобна грешка означава стотици хиляди грешни отговори всяка минута. Грешките включват объркване по отношение на датата, на която къщата на Боб Марли е превърната в музей, както и отричане на съществуването на Залата на славата на класическата музика – почетен списък на композитори и изпълнители, създаден от списание Gramophone – в който преди това е бил включен музикантът Йо Йо Ма.

Представителят на Google Нед Адрианс разкритикува резултатите от проучването. Той заяви, че тестът SimpleQA съдържа невярна информация и не отразява това, което хората действително търсят в Google. Той заяви, че компанията предпочита да използва за оценка по-утвърдена версия на теста, наречена SimpleQA Verified. Освен това по-често се използва по-бързият модел Gemini Flash, а не по-точният Gemini 3.1 Pro, за да се осигури бърза скорост на зареждане на отговорите на страницата за търсене на Google.

Оценяването на новите модели на изкуствен интелект се усложнява от тяхната недетерминистична природа: невронната мрежа може да даде правилен отговор на актуален въпрос, а след това веднага да сгреши при повторно задаване. В същото време собствените тестове на Google за базови модели (без достъп до данни от интернет) показват точност в диапазона от 60 до 80%. Поради тази причина компанията придружава всички отговори на изкуствения интелект с предупреждение, че изкуственият интелект може да греши, като ви призовава да проверите информацията.