Традиционните уебсайтове губят аудитория заради чатботовете и агентите с изкуствен интелект

Компаниите, специализирани в областта на изкуствения интелект обещаха на собствениците на уебсайтове, че търсачките от следващо поколение ще им осигурят приток на посетители чрез препращане. Нов доклад на платформата за лицензиране на съдържание TollBit разкрива, че това всъщност не е така.

По-рано OpenAI и Perplexity направиха гръмки изявления, че техните търсачки с изкуствен интелект, които събират съдържание от интернет ще осигурят на собствениците на сайтове приток на посетители и нови източници на приходи. В действителност задвижваните от ИИ търсачки изпращат 96% по-малко препратен трафик към новинарски сайтове и блогове, отколкото традиционните търсения в Google, според доклад на TollBit, който компанията сподели с Forbes. В същото време количеството информация, събирано от ИИ от уебсайтове, се е увеличило повече от два пъти през последните месеци. OpenAI, Perplexity, Meta и други компании, работещи с ИИ са сканирали уебсайтове около 2 милиона пъти през четвъртото тримесечие на 2024 гoдина – данните се базират на 160 сайта, включително национални и местни новинарски ресурси, сайтове за потребителски технологии и блогове за пазаруване. Всяка страница в тях е била сканирана средно по 7 пъти.

TollBit предлага на уебсайтовете инструменти за откриване на сканиране с изкуствен интелект – всеки път, когато това се случи, компанията събира такса от разработчиците на платформи за изкуствен интелект в полза на ресурсите, регистрирани в нейната платформа за анализ. Това дава на TollBit представа за трафика и активността на механизмите за сканиране. OpenAI, Meta и Perplexity не коментираха данните, представени в доклада, но Perplexity отбеляза, че тяхната система следва директивите във файловете robots.txt – те посочват до кои секции на сайтовете е разрешен достъп.

През февруари анализаторите на Gartner публикуваха прогноза, според която до 2026 гoдина трафикът от традиционните търсачки, дължащ се на чатботове и агенти с изкуствен интелект ще намалее с 25%.

Процесът вече е в ход: Chegg, компания, специализирана в областта на образователните технологии наскоро реши да съди Google за обобщенията на данни, които се показват в резултатите от търсенето. През второто тримесечие на миналата година, когато те започнаха да се появяват за първи път, трафикът на Chegg спадна с 8%, а през януари тази година вече беше спаднал с 49%. Според версията на ищеца резултатите от търсенето с изкуствен интелект включват материали от сайта на Chegg, без да се посочва източникът. Спадът на трафика е засегнал Chegg до такава степен, че компанията вече обмисля да стане частна или да продаде изцяло активите си. Google нарече иска на Chegg „неоснователен“ и заяви, че разнообразието от сайтове в резултатите от търсенето се е увеличило.

Ситуацията се усложнява от факта, че при обхождането на ресурси и събирането на данни разработчиците на изкуствен интелект посочват в своите системи стойности на реда „User agent“, които не отговарят на действителността, и това пречи на собствениците на сайтове да идентифицират скенерите и да формират представа за това как компаниите с изкуствен интелект използват достъпа до ресурсни материали. Според една от теориите Google използва едни и същи ботове за различни цели – те едновременно индексират сайтове и събират данни от тях за ИИ. Действията на Perplexity, която твърди, че спазва директивите robots.txt са още по-непредсказуеми: дори когато даден ресурс блокира достъпа чрез уеб сървър, сканирането вероятно не спира, защото трафикът от препратки продължава да пристига. Ако се вярва на официалните данни, един от ресурсите е бил сканиран 500 пъти, след което е получил 10 000 посетители от Perplexity. Това може да се обясни единствено с работата на неидентифициран сканиращ бот.

Миналата година Perplexity беше хваната да копира и след това да цитира почти дословно материали, включително платени популярни новинарски издания, сред които Forbes, CNBC и Bloomberg – без да посочва източника.

Услугата на компанията също така често цитираше нискокачествени блогове, генерирани от изкуствен интелект и публикации в социалните медии, съдържащи неточна информация. The New York Post и Dow Jones заведоха дело срещу Perplexity, обвинявайки компанията в нарушаване на авторските права. Неконтролираното сканиране на съдържанието на уебсайтове води и до увеличаване на разходите за сървърни ресурси. OpenAI и Perplexity пуснаха ИИ-агенти, които самостоятелно търсят необходимата информация в сайтовете и изготвят подробни доклади, което със сигурност ще задълбочи проблема.

Един очевиден начин за разрешаване на конфликта е директното лицензиране на материала. Associated Press, Axel Springer и Financial Times сключиха съответните споразумения с OpenAI. Съществуват и нови компании, които таксуват собствениците на системи с изкуствен интелект всеки път, когато копират материали от уебсайтове – това е моделът, използван от TollBit, която е изготвила доклада.