ChatGPT „прониква“ в акаунти чрез текстови команди – не са необходими никакви хакерски умения

Изследователят в областта на киберсигурността Йохан Рехбергер е „убедил“ ChatGPT да извърши няколко потенциално опасни операции: да прочете електронната му поща, да я обобщи и да публикува информацията онлайн, съобщава The Wall Street Journal. В ръцете на нападател подобен инструмент може да се окаже страховито оръжие.

Чатботовете като ChatGPT, управлявани от алгоритми с изкуствен интелект, както казва г-н Ребергер, „намаляват бариерата за навлизане на всички видове атаки. Не е нужно да знаете как да пишете код. Не е необходимо да имате задълбочени познания по информатика или хакерство.“ Методът за атака, който той описва не е приложим за повечето акаунти в ChatGPT – той се основава на експериментална функция, която дава достъп до Slack, Gmail и други приложения. Компанията, отговорна за ChatGPT – OpenAI благодари на експерта за предупреждението и заяви, че е блокирала възможността подобни атаки да бъдат извършени отново.

Механизмът „prompt injection/инжектиране на команди“ на Ребергер е нов клас кибератака, който се разкрива, тъй като компаниите внедряват технологиите на изкуствения интелект в своите предприятия и потребителски продукти.

Технологията на която се основава ChatGPT е генеративен изкуствен интелект, който позволява създаването на цели фрази и изречения. Поведението на чатботовете е ограничено от техните разработчици: има насоки, които не им позволяват да разкриват чувствителна информация или им забраняват да правят обидни коментари, но има решения за заобикаляне на тези забрани. Например, Йохан Ребергер е помолил чатбота да създаде резюме на уебстраница, на която самият той е написал с големи букви: „НОВИ ВАЖНИ ИНСТРУКЦИИ“ и това озадачило машината. Постепенно той накарал ChatGPT да изпълнява различни команди. „Това е все едно да крещиш на системата“ – обяснява Ребергер. По същество той принуждава изкуствения интелект да се препрограмира.

Техниката на „инжектиране на команди“ се оказала ефективна поради една важна особеност на системите с изкуствен интелект: те невинаги разграничават правилно системните команди от въведените от потребителя, обяснява професорът от Принстънския университет Арвинд Нараянан. Това означава, че разработчиците на системи с ИИ трябва да обръщат внимание не само на класическите аспекти на киберсигурността, но и да вземат предвид новите заплахи с умишлено непредсказуем характер.