Новият алгоритъм на Google даде възможност на Китай да създаде изключително ефективна цензура

Преди 2 години Google представи своя нов алгоритъм за търсене BERT, който много по-добре обработва заявките на различни езици. С помощта на съвременна невронна мрежа алгоритъмът анализира не отделните думи, а цели изречения и абзаци, което съществено повишава релевантността на резултата. Оказа се, че на базата на BERT е възможно да се създаде изключително ефективна ИИ цензура, от което се възползваха китайските разработчици.

Китайският сегмент на Глобалната мрежа е силно цензуриран. Сложността на китайския език и различните трикове, използвани от потребителите, намаляват ефективността на цензурата. Така например, с помощта на търсенето по ключови думи се постига ефективност на цензурата максимум 70%. Ако се използва обучена от хора невронна мрежа, то ефективността на цензурата се доближава до 80%. Новият китайски алгоритъм с елементи на изкуствен интелект, който се базира на BERT, дори и без обучение повишава точността на подлежащите на цензура текстове до 91%.

Алгоритъмът Google BERT е с отворен код, като интернет гигантът го е ограничил да не може да анализира текстове с дължина над 512 думи. За да се избегне това ограничение китайските програмисти са използвали свой собствен алгоритъм за разделяне на големите текстове на блокове, които могат да се анализират от BERT. След като тези блокове бъдат анализирани, китайският алгоритъм отново съединява текста. Получило се е решение, което може да открива дори скритият между редовете смисъл, който трябва да бъде цензуриран.