Най-добрите чатботове не могат да разпознават видеоклипове, генерирани от AI

Водещите чатботове с изкуствен интелект не успяха да определят дали качените при тях видеоклипове са създадени от генератора Sora – дори ChatGPT на самата OpenAI не успя да се справи с това. Съответните тестове бяха извършени от специалисти на NewsGuard.

Генераторът на видеоклипове Sora на OpenAI бързо си спечели репутацията на услуга, която може да заблуди хората, че видеоклиповете, генерирани нея са истински – тя може да заблуди и други услуги с изкуствен интелект.

Видеоклип на Sora без воден знак не може да бъде разпознат от Grok (95% грешни отговори), ChatGPT (92,5%) и Gemini (78%). Забележителен, разбира се е резултатът на ChatGPT като продукт от същия разработчик. Дори водните знаци не гарантират правилен отговор: в този случай Grok не разпознава видеоклипове, създадени от Sora в 30% от случаите, а ChatGPT – в 7,5%.

OpenAI маркира видеоклиповете на Sora с видими водни знаци, но вече има безплатни уеб услуги за премахването им. Авторите на NewsGuard приложиха тази процедура върху 20 видеоклипа и ги качиха за кореспонденция с чатботовете – и със, и без водни знаци. В този случай Grok не успя да даде правилен отговор в 95% от случаите (38 от 40 видеоклипа), ChatGPT не успя в 92,5% от случаите (37 от 40), а Gemini – в 78% от случаите (31 от 40). ChatGPT и Gemini не отговориха на генерирания от AI видеоклип на имиграционно задържане на тийнейджър – чатботовете заявиха, че сцената съвпада или е потвърдена от „новинарски източници“ и че инцидентът е станал на границата между САЩ и Мексико.

ChatGPT и Gemini не можаха да дадат конкретен отговор на генериран от Sora видеоклип на имиграционно задържане на дете – чатботовете заявиха, че сцената съвпада или е потвърдена от „новинарски източници“ и инцидентът е станал на границата между САЩ и Мексико. Чатботовете също така потвърдиха автентичността на видео, генерирано от AI, в сцена, в която служител на авиокомпания уж сваля пътник от самолет заради носенето на шапка с политически лозунг.

Наличието на водни знаци значително подобри резултатите. Веднъж Grok заяви по своеобразен начин, че видеото принадлежи на Sora News, която всъщност не съществува. В повечето случаи ChatGPT, Gemini и Grok посочиха водния знак като доказателство за фалшификация и видяха допълнителни признаци за работата на AI – изкривявания и неестествено осветление. Наличието на воден знак също така насърчи чатботовете да проверяват фактите по-внимателно.

Gemini на Google е единственият от тестваните чатботове, за който разработчикът е заложил функцията за разпознаване на съдържание с изкуствен интелект, създадена от AI модела Nano Banana Pro от същата компания. Чатботът се справи зле с видеоклиповете от Sora, но при качването на видеоклипове, генерирани от Nano Banana Pro резултатите бяха много по-добри – дори без водни знаци отговорът беше верен в 5 от 5 случая. Способността на Grok и ChatGPT да разпознават собственото си съдържание не е тествана от авторите на изследването – xAI и OpenAI не са заявили такава възможност.

AI услугите обикновено не са склонни да признават грешните си отговори и тестовете на NewsGuard потвърдиха това: ChatGPT, Gemini и Grok заявиха, че не могат да извършват такива анализи съответно в 2,5, 10 и 13% от случаите. По-често това бяха грешки от един и същи вид – отговор, че видеото, генерирано от изкуствен интелект, е истинско. Google напомни, че видеоклиповете, генерирани от AI услугите на компанията са обозначени в съответствие със стандарта SynthID. Представител на OpenAI изрично заяви, че ChatGPT няма как да разграничи видеоклиповете с изкуствен интелект от истинските. xAI не коментира темата.