1/4 от уебстраниците, съществували между 2013 и 2023 година са изчезнали от интернет

Интернет е невъобразимо голямо хранилище на данни със стотици милиарди индексирани уебстраници. Може би си мислите, че уеб пространството само се е разширявало през годините, но това не е така. Ново проучване на изследователския център Pew показва колко кратък е периодът на съществуване на уеб съдържанието.

Анализаторите са изчислили, че 1/4 от общия брой уебстраници, съществували между 2013 и 2023 година не са били налични към октомври 2023 година.

В повечето случаи това се дължи на факта, че с течение на времето страниците на уебсайтовете се коригират драстично или просто се изтриват. За по-старото съдържание тази тенденция също е валидна. Около 38% от уебстраниците, които са съществували през 2013 година, днес вече не са достъпни. Ако разгледаме уебстраници, съществували през 2023 година, сегашният процент на недостъпност е 8 %.

Експертите на Pew проучиха връзките (линковете), които се появяват на правителствени и новинарски сайтове, както и в раздела „Връзки“ на страниците на Уикипедия от тази пролет. Анализът установи, че 23% от новинарските уебстраници съдържат поне една „счупена/неактивна“ връзка, както и 21% от правителствените уебстраници. Връзките са особено често срещани на страниците на уебсайтовете на местните власти (градските управи). В същото време 54% от страниците в Уикипедия съдържат поне един URL адрес към страница, която вече не съществува в раздела „Връзки“.

Страници в социалните мрежи

За да проследят как изчезват страниците в социалните мрежи, анализаторите събират извадка от онлайн туитове през пролетта на 2023 година в платформата X и ги проследяват в продължение на 3 месеца. Установено е, че почти 1 от всеки 5 публикации в социалните мрежи престава да бъде публично достъпна няколко месеца след публикуването им. В 60 % от случаите акаунтът, който първоначално е публикувал туита става частен, временно спрян или е изтрит от платформата през същия период. В останалите 40 % от случаите собственикът на профила сам изтрива туита, но профилът му продължава да съществува. Отбелязва се, че повече от 40 % от туитовете на турски или арабски език изчезват от сайта в рамките на 3 месеца след публикуването им.

Уебстраници през последното десетилетие

За тази част от анализа експертите са събрали случайна извадка от малко под 1 милион уебстраници от архивите на Common Crawl. Анализаторите избраха страници от архивите Common Crawl за всяка година от 2013-а насам (приблизително 90 000 страници за всяка година) и провериха дали те съществуват в момента.

Беше установено, че 25% от проверените уебстраници не са били налични към октомври 2023 година. Тази стойност е съставена от две цифри: 16% са индивидуално недостъпни страници на активни сайтове, а други 9% от страниците са недостъпни, защото целият сайт е престанал да съществува. Логично е, че повечето от недостъпните сега ресурси са по-стари версии на архивите (38% от избраните страници, които са съществували през 2013 година, са престанали да функционират към октомври 2023 година).

Линкове в правителствени уебсайтове

За да се анализира този сегмент от онлайн пространството, бяха избрани около 500 000 страници от правителствени уебсайтове от архива Common Crawl за периода март-април 2023 гoдина. Общо избраните страници съдържаха 42 милиона линкове (86% вътрешни). Около 3/4 от уебстраниците в извадката съдържаха поне един линк, като средно на страница се падаха по 50. Общо 21 % от изследваните страници на правителствени уебсайтове съдържаха поне един невалиден линк.

Линкове в новинарските уебсайтове

В тази категория бяха анализирани 500 000 уебстраници от 2063 уебсайта, които comScore категоризира като новини и информация. Страниците са събрани от архива Common Crawl за периода март-април 2023 година. Общо избраните страници съдържаха 14 млн. линка (средно по 20 на страница). След проверката се оказа, че 5% от всички линкове от извадката вече не работят, а 23% от страниците от извадката съдържат поне един линк към несъществуващ ресурс. Около 25% от страниците на 20-те най-големи новинарски сайта по посещаемост имат поне една неработеща връзка.

Препратки в Уикипедия

Анализаторите избраха 50 000 страници в Уикипедия на английски език и разгледаха съдържащите се в тях връзки в раздела „Връзки“. Около 82% от страниците съдържаха поне една неработеща външна връзка. Общо всички страници в извадката съдържаха над 1 милион връзки, като 11% от тях не функционираха.

Публикации в социалната мрежа X

Проучването в тази област включва 5 милиона туита, публикувани между 8 март и 27 април 2023 година в социалната мрежа X, наричана тогава Twitter. След това изследователите проследили тези публикации до 15 юни същата година и ежедневно ги проверявали за достъпност. Към края на проучването 18% от първоначалната база от туитове вече не са били достъпни за преглед в платформата. В повечето случаи това е резултат от блокиране или пълно изтриване на профила на автора.

Отбелязва се, че по-голямата част от туитовете се премахват от X в рамките на един месец. В същото време 1% от публикациите изчезват в рамките на един час след публикуването, 3% – в рамките на един ден, 10% – в рамките на една седмица, 15% – в рамките на един месец. С други думи, около половината от туитовете, които изчезват от платформата, стават недостъпни в рамките на първите 6 дни от публикуването, а 90% от тези туитове изчезват в рамките на 46 дни.