ИИ-ботовете са се превърнали в нов тип интернет потребители и генератори на трафик – блокирането не ги спира

Ботовете, задвижвани от изкуствен интелект, вече представляват значителен дял от уеб-трафика, съобщава Wired, позовавайки се на информация от Akamai. Докладът подробно описва как блокирането на данни от ботовете на уебсайтове и сложните действия на тези ботове вече достигат мащаби на надпревара във въоръжаването.

„Това не е просто проблем с авторските права – появи се нов тип интернет потребител“ — отбелязват експертите. Собствениците на големи уебсайтове се стремят да ограничат достъпа до материалите, които ботовете могат да събират и предават за обучение на изкуствен интелект. В други случаи ИИ-ботовете получават достъп до информация от интернет в реално време и я използват, за да подобрят собствените си резултати —- показвайки текущи цени на продуктите, филмовите програми или кратките резюмета на последните новини.

Трафикът на ботове, събиращи данни за обучение на изкуствен интелект, непрекъснато се увеличава от юли миналата година. През първите три месеца на 2025 г. средно всяко 200-то посещение на уебсайт се приписва на бот, а през четвъртото тримесечие тази цифра се е увеличила до всеки 50-ти посетител. Повече от 13% от ботовете игнорират инструкциите на robots.txt, указващи кои секции от уебсайта трябва да се избягват. От второто до четвъртото тримесечие ботовете проявяват това поведение с 400% по-често; администраторите обаче са увеличили опитите си да блокират ботовете с 336% за същия период. Някои ботове се маскират —- трафикът им изглежда сякаш произхожда от обикновен браузър, а заявките им имитират нормално човешко поведение на уебсайтовете.

В тази област се появиха и търсени услуги. Стартъп компанията TollBit предложи инструменти, които позволяват на добросъвестните ИИ-разработчици да сключват споразумения с издатели и да плащат за съдържанието в уебсайтовете. Известната компания Cloudflare предлага инструменти за блокиране на ботове, управлявани от недобросъвестни разработчици. Bright Data, компания за събиране на данни, обаче настоява, че нейните ботове събират само публично достъпна информация. Колегите им от ScrapingBee подчертаха ангажимента си към достъпността на отворения интернет както за хората, така и за машините. Oxylabs, компания, специализирана в подобни задачи, също обяви работата си с публично достъпни данни. Има много основателни причини за извличане на материали от уебсайтовете, включително за целите на киберсигурността и разследващата журналистика. Oxylabs обаче добавя, че инструментите за сигурност на уебсайтовете не правят разлика между случаите на употреба — независимо дали става въпрос за злонамерен трафик или легитимен автоматизиран достъп.

Днес повече от 40 компании предлагат ботове за събиране на данни за обучение на изкуствен интелект, докато ИИ-базираните търсачки и AI-агентите като OpenClaw също набират скорост. Някои фирми вече се опитват да помогнат на компаниите да намерят съдържание за ИИ-агентите, а също така се появиха и ИИ-инструменти за оптимизиране на съдържанието. Те прогнозират появата на „пълноценен маркетингов канал, където търсенето, рекламата, медиите и търговията се сливат“.