39 000 заявки в минута: как AI ботовете атакуват уеб сайтовете и защо това е по-лошо от DDoS

80% от трафика вече не са хора и това е новата реалност в интернет.

В нов доклад на Fastly Threat Insights изследователи анализират над 6,5 трилиона уеб заявки месечно, за да идентифицират новите модели в трафика от AI ботове. Този сегмент от автоматизирани системи се разраства бързо и вече оказва забележимо въздействие върху интернет инфраструктурата, натоварването на сайтовете и начина на достъп до съдържанието.

Според доклада пиковата активност на отделните ботове достига до 39 000 заявки в минута към един ресурс, което може да претовари дори много големите сървъри и да предизвика ефекти, сравними с DDoS атаките. Най-често подложени на натиск са сайтовете в областта на онлайн търговията, развлеченията и високите технологии, чиито бази данни и актуализирани каталози са от особен интерес за разработчиците на езикови модели. В резултат на това собствениците на сайтове се сблъскват с нарастващи разходи, изкривени статистики за трафика и спад в производителността.

Най-големият обем трафик се генерира от обхождащи програми, които събират съдържание за обучение на ИИ моделите – около 80% от всички заявки. На Meta се падат повече от половината обхождания, на Google – още 23%, а на OpenAI – около 20%. За сравнение, фетчърите – ботовете, които изтеглят страници в момента на потребителска заявка – генерират само една пета от дейността. Но те са тези, които създават най-тежките скокове на натоварване: почти целият сегмент принадлежи на OpenAI, чиито ботове ChatGPT и OAI-SearchBot осъществяват 98% от всички посещения в реално време. Отделните конкуренти, като Perplexity, все още показват по-ниски обеми, но делът им непрекъснато нараства.

Не по-малко важна роля играе и географията на източниците на данни: преобладаващата част от данните за обучение идват от Северна Америка. Това означава, че много модели наследяват културните и политическите пристрастия на региона. По-разнообразно покритие показват Diffbot и ICC Crawler, които активно събират материали от Европа, Близкия изток и Африка. В Азия се забелязва приносът на японските играчи – SoftBank и държавния институт NICT, които се фокусират върху местния сегмент на интернет.

Ситуацията се различава в зависимост от региона и индустрията. В Северна Америка почти 90% от трафика се формира от краулерите, докато в Европа преобладават фечърите – до 59%. За образователния сектор те са основният проблем: студентите и изследователите масово използват ChatGPT, което директно се отразява в натоварване на ресурсите. В медийната и развлекателната индустрия се наблюдава подобна картина: анкетьорите се насочват към най-новите публикации и новини, което води до рязко увеличаване на заявките. За разлика от тях, в здравеопазването, публичния сектор и електронната търговия до 96% от търсенията идват от търсачи – краулери.

Fastly подчертава, че 87% от трафика на ботовете като цяло е злонамерен – от кражба на удостоверения до рекламни измами – а в случая на ИИ ботовете рискът е и от неконтролирано използване на съдържание и скрито монетизиране на чуждите ресурси. За да се намали натискът, компанията препоръчва многопластова защита – от използването на стандарти като robots.txt и X-Robots-Tag до внедряването на капчи, ограничения на скоростта и специализирани решения за управление на ботовете. Една от възможностите е пренасочване на заявките към платформите за лицензиране, което позволява не само да се контролира достъпът, но и да се получават приходи за използването на съдържанието при обучението на различните модели.

Специално внимание се обръща и на добросъвестните оператори. Авторите на доклада ги призовават да бъдат прозрачни: да публикуват диапазони от IP адреси, да посочват User-Agent с уникално име, да спазват правилата на robots.txt и да ограничават честотата на заявките. OpenAI дава пример, като открито публикува адресните обхвати на своите ботове, а Common Crawl поддържа прогнозируем график за обхождане, който улеснява подготовката на собствениците на сайтове. Нарушаването на тези принципи води до блокиране и повишаване на недоверието, докато прозрачните политики помагат за изграждането на устойчиви взаимоотношения между разработчиците на изкуствен интелект и онлайн общността.