Полицията в Съединените щати започна да използва AI изображения на деца, за да открива престъпниците

Американската полиция използва AI за създаването на изображения на несъществуващи деца, за да им помогне да залавят педофилите. Това гласи дело, заведено от щата Ню Мексико срещу Snapchat тази седмица.

Според жалбата, Министерството на правосъдието на Ню Мексико през последните месеци е започнало разследване под прикритие, за да докаже, че Snapchat „е основната социална медийна платформа за разпространение на материали за сексуално насилие над деца (CSAM)“ и сексуално изнудване на непълнолетни, тъй като нейният „алгоритъм излага децата на възрастни насилници.“

Като част от разследването полицаят „създал фалшив акаунт на 14-годишно момиче, Sexy14Heather“. Въпреки че не добавил никакви последователи, „Heather“ скоро била широко препоръчана на „опасни акаунти, включително тези, наречени „child.rape“ и „pedo_lover10“.

И след като Heather приела заявката за следване само от един акаунт, препоръките станали още по-големи. „Snapchat предлага повече от 91 потребители, включително и много възрастни, чиито акаунти включват или се опитват да обменят сексуално открито съдържание“ — се казва в жалбата на държавата.

Представяйки се като „Sexy14Heather“, следователят обменял съобщения с акаунтите за възрастни, включително и потребители, които „публикуват неподходящи и откровени снимки“. В един разговор с потребител на име „50+ SNGL DAD 4 YNGR“, фейк тийнейджърът „споделил възрастта си, изпратил снимка и се оплакал, че родителите ѝ я принуждават да ходи на училище“. Това подтикнало потребителя да изпрати „снимка на себе си“, както и сексуални чатове. Други акаунти помолили „момичето“ да „търгува с предполагаемо откровено съдържание“, а няколко „се опитаха да принудят непълнолетното лице да сподели CSAM“. Служителят също така тествал инструмента за търсене на Snapchat, като установил, че „въпреки че акаунтът не използва явен сексуален език, алгоритъмът трябва да е определил, че търси CSAM“, когато търси други тийнейджъри. Алгоритъмът „започна да препоръчва на потребителите, свързани с търговията CSAM“, включително акаунти с имена като „naughtypics“, „addfortrading“, „teentr3de“, „gayhorny13yox“ и „teentradevirgin“.

Преди това полицията в Албакърки повдигнала обвинения срещу мъж в предполагаемо изнасилване на 11-годишно момиче, с което се запознал чрез функцията за бързо добавяне на Snapchat през 2022 г. Освен това друг мъж от Албакърки бил арестуван и осъден това лято за „изнасилване на 12-годишно момиче, с което се запознал и комуникирал чрез Snapchat“.

В миналото полицията се е представяла като деца онлайн, за да хване изнасилвачите, използвайки снимки на млади жени или дори снимки на млади полицаи. Използването на изображения, генерирани от AI, може да се счита за по-етичен начин за извършване на подобни операции, казва адвокатът Кари Голдбърг.

Но дори използването на AI може да усложни разследванията и да породи етични опасения, предупреждава тя, тъй като експертите по безопасността на децата и правоприлагащите органи намират в мрежата повече генерирани от AI материали за CSAM.

„По отношение на използването на AI за прихващане, обвиняемите могат да се защитят, като твърдят, че правителството ги е убедило да извършат престъпление, към което първоначално не са били предразположени“ — казва Голдбърг. 

Експертите предупреждават, че генераторите на изображения с изкуствен интелект никога не трябва да се обучават на набори от данни, които комбинират изображения на реални деца с компрометиращо съдържание, за да се избегне разпространението на материали за CSAM.

Жалбата на Ню Мексико съдържа само едно изображение, генерирано от AI, така че не е ясно колко широко полицията използва технологията.

Голдбърг казва, че „трябва да има стандарти в правоприлагането за това как отговорно да се използва AI“. 

Генералният прокурор на Ню Мексико, Раул Торес, отбелязва, че делото срещу Snapchat на щата е заведено „за защита на децата от сексуално изнудване, сексуална експлоатация и увреждане“.

Твърдейки, че Snapchat умишлено пренебрегва проблемите, като рекламира своята платформа като безопасна, държавата твърди, че Snap е нарушил Закона за нелоялните практики и социалната мрежа трябва да бъде забранена. 

Голдбърг отбелязва, че щатският случай се откроява, защото само такъв субект може да предяви широки искове от името на обществеността.

Разследване на Министерството на правосъдието на Ню Мексико установило, че Snapchat е „далеч“ най-големият източник на незаконни снимки и видеоклипове за пазарите на даркнет. Държавните следователи са „идентифицирали огромна мрежа от дарк сайтове, посветени на споделянето на откраднати сексуални изображения от Snap – разкривайки повече от 10 000 публикации, свързани със Snap и CSAM само през изминалата година, включително и информация за непълнолетни под 13-годишна възраст, които са били сексуално нападнати.” се казва в прессъобщението.

Голдбърг казва, че делото е „най-новото в малката поредица от дела срещу Snap, които включват неговата функция за бързо добавяне, съпоставяне и лични съобщения с непознати“. Фокусирайки се върху дизайнерските характеристики на Snapchat, включително и функцията за бързо добавяне и изчезващи съобщения, както и Snap Maps и други функции, Министерството на правосъдието на Ню Мексико каза, че „дизайнът и алгоритмичните препоръки на Snapchat открито насърчават и популяризират незаконното сексуално съдържание, включващо деца и улесняващо секс трафика, изнудването и трафика на деца, наркотици и оръжия.„

Торес предизвестил изхода от случая със Snapchat, предупреждавайки, че „всички социални медийни платформи, които вредят на своите потребители, трябва да бъдат нащрек“.

Ако Snap загуби делото, може да бъде изправен пред солидни глоби. Ню Мексико също се стреми да блокира Snap от всички практики, за които се твърди, че са вредни за децата, включително и прекратяване на рекламите за Snapchat като „по-лични“ и изчезващи съобщения. 

Snap отговори, че преглежда жалбата на Ню Мексико „и ще отговори на тези претенции в съда, особено за нашите по-млади потребители“.

Компанията казва, че „работи усилено за намиране, премахване и докладване на лошите потребители и предоставя на тийнейджърите, както и на родителите и настойниците, инструменти, които да им помогнат да останат в безопасност онлайн“. Тя също така ще продължи да „си сътрудничи с правоприлагащите органи, експертите по онлайн безопасност, колегите от индустрията, родителите, тийнейджърите, преподавателите и политиците“.

Голдбърг вярва, че „тези компании трябва да бъдат оценявани не само по техните продукти и рискове, но и по това как се справят с трагедиите, които се случват на техните платформи. И Snap е един от най-лошите в хвърлянето на цялата вина върху малките деца и техните родители, дори когато вредите представляват специфични проблеми, уникални за тяхната технология и функции. Те си въобразяват, че са авангардни, с бързи връзки и технологии, но в съда винаги се опитват да накажат адвокатите и скърбящите семейства, като ги държат отговорни.“