OpenAI обяви, че ще потиска информационните кампании с помощта на нейните ИИ-технологии

OpenAI обясни как налага мерки за предотвратяване разпространението на опасно съдържание с помощта на AI. Компанията е спряла няколко тайни операции за влияние, които се опитват да манипулират общественото мнение или да повлияят на политиката.

През последните три месеца OpenAI спря пет тайни групи, които се опитаха да използват моделите на компанията за своите операции. По време на кампаниите бяха използвани AI инструментите за създаване на кратки коментари и статии на различни езици, съставяне на имена и биографии за социалните мрежи.

В резултат на това е спряна дейност като:

• Bad Grammar, за която се твърди, че е свързана с Руската федерация. Кампанията е стартирала в Telegram и е насочена към жителите на Украйна, Молдова, балтийските страни и САЩ. Неговите автори са използвали AI за отстраняване на грешки в кода за стартиране на ботовете в Telegram и създаване на кратки политически коментари на руски и английски;
• Doppelganger, също свързан с Руската федерация. Кампанията използва AI инструменти за създаване на коментари на английски, френски, немски, италиански и полски, които са били публикувани в X и 9GAG. AI също е бил използван за превод и редактиране на статии на английски и френски език, генериране на заглавия и пренаписване на новинарски статии за публикуване в социалните мрежи;
• Spamouflage, свързан с Китай. Кампанията е използвала AI за изследване на обществената активност в социалните мрежи, генериране на текстове на китайски, английски, японски и корейски и публикуването им в платформите X, Medium и Blogspot. Накрая, моделите са били използвани за генериране на база данни и код за управление на уебсайтове;
• Международен съюз на виртуалните медии (IUVM), свързан с Иран. Моделите са били използвани за създаване и превод на дълги статии, заглавия и тагове на уебсайтове, които след това са били публикувани в iuvmpress[.]co;
• STOIC, свързан с Израел. Кампанията Zero Zeno използва модели за създаване на статии и коментари, които след това са били публикувани на няколко платформи и по-специално Instagram, Facebook, X и уебсайтове, свързани с операцията.

Използвайки скалата за пробив на Брукинг, изследователите на OpenAI са оценили ефективността на кампаниите. Отбелязва се, че нито една от тях не е получила оценка по-висока от 2 точки по 6-степенната скала.

Въз основа на проучвания компанията е забелязала следните трендове в използването на AI:

• генериране на съдържание;
• смесване на генерирано и ръкописно съдържание;
• имитация на взаимодействие чрез генериране на коментари към публикации и статии;
• увеличаване на производителността чрез обобщаване на публикации в социални медии или код за отстраняване на грешки.

Във връзка с откритите кампании, OpenAI предлага и прилага редица мерки, които могат да помогнат за противодействието им:

• отбранителен дизайн. Системите за сигурност на компанията ще бъдат подобрени, за да се гарантира, че моделите отказват да генерират текст или изображения, свързани с чувствителни теми;
• разследвания с помощта на изкуствен интелект;
• публикуване на съдържание на различни платформи, включително X, Telegram, Medium, Blogspot и малки форуми;
• съвместно използване на изкуствен интелект. OpenAI сподели показателите за опасност с колеги по отрасъла и също използва години на анализ с отворен код от изследователски общности;
• отчитайки човешкия фактор, компанията вярва, че е важно хората да се образоват относно новите инструменти, които злите хора използват.

OpenAI по-рано сформира нов комитет по безопасността и сигурността, който ще помага при вземането на ключови решения по проекти. Той ще включва главния изпълнителен директор на компанията Сам Алтман, както и членовете на борда на директорите Брет Тейлър, Адам Д’Анджело и Никол Селигман. Главният учен на Open AI, Якуб Пачоцки и ръководителят по сигурността Мат Найт, също ще участват в работата. Комисията планира да привлече като консултанти все още неназовани външни експерти по сигурността.