Изследователи от университета в Шефилд казаха, че успешно са заблудили редица инструменти за генериране с изкуствен интелект, включително ChatGPT. В създаването на ефективен код, който може да се използва за стартиране на кибератаки в реалния свят.
Потенциалът инструменти като ChatGPT да бъдат експлоатирани и подмамени да напишат злонамерен код, който може да се използва за стартиране на кибератаки, се обсъжда надълго и нашироко през последните 12 месеца. Консенсусът е, поне засега, че такъв код би бил до голяма степен неефективен и се нуждае от много допълнително внимание програмисти.
Екипът обаче е доказал, че системите от текст към SQL, които позволяват на хората да търсят в бази данни, като задават въпроси на обикновен език, могат да бъдат използвани ефективно.
„Потребителите на системи от текст към SQL трябва да са наясно с потенциалните рискове, подчертани в тази работа. Големите езикови модели, като тези, използвани в текст-към-SQL системи, са изключително мощни, но тяхното поведение е сложно и може да бъде трудно за прогнозиране. В Университета на Шефилд в момента работим, за да разберем по-добре тези модели и да позволим пълният им потенциал да бъде безопасно реализиран.
Марк Стивънсън, старши преподавател в изследователската група по НЛП към Университета в Шефилд.
В действителност много компании просто не са наясно с тези видове заплахи и поради сложността на чатботовете, дори в рамките на общността, има неща, които не са напълно разбрани. В момента ChatGPT получава много внимание. Това е самостоятелна система, така че рисковете за самата услуга са минимални, но това, което открихме е, че тя може да бъде подмамена да произведе злонамерен код, който може да навреди сериозно на други услуги.
докторантът от Шефилдския университет Xutan Peng
Изследователският екип изследва шест инструмента за изкуствен интелект.
Това са разработените в Китай Baidu-Unit, ChatGPT, AI2SQL, AIhelperbot, Text2SQL и ToolSKE. Във всеки случай те откриха, че чрез въвеждане на много специфични въпроси във всеки от тях, те произвеждат злонамерен код, който, когато бъде изпълнен, може успешно да доведе до изтичането на поверителни данни.
Както и да прекъсне или унищожи нормалната работа на базата данни.
В случая с Baidu-Unit, те също успяха да получат поверителни конфигурации на сървъра на Baidu и да въздействат върху един сървърен възел. Baidu е информиран и този конкретен проблем е отстранен.
Изследователите също са успели да използват инструментите за изкуствен интелект, за да стартират прости атаки през задната вратичка, поставяйки троянски кон в моделите text-to-SQL чрез отравяне на данните за обучение.
Проучването подчертава опасностите в това как хората използват ИИ, за да научат езици за програмиране, за да взаимодействат по-добре с базите данни. Техните намерения може да са почтени, но резултатите могат да бъдат много пагубни.
Рискът с AI като ChatGPT е, че все повече и повече хора ги използват като инструменти за производителност, а не като разговорен бот, и това е мястото, където нашето изследване показва уязвимостите. Например, медицинска сестра може да поиска от ChatGPT да напише SQL команда, за да може да взаимодейства с база данни, като например такава, която съхранява клинични записи. Както беше показано в нашето проучване, SQL кодът, произведен от ChatGPT, в много случаи може да бъде вреден за база данни, така че медицинската сестра в този сценарий може да причини сериозни грешки в управлението на данните, без дори да получи предупреждение.
Пенг
Пенг и другите изследователи представиха откритията си на конференцията ISSRE в Италия.
Сега работят с общността по сигурността, за да се справят с откритите от тях уязвимости.
Те се надяват, че тези уязвимости ще послужат като доказателство за концепцията, което помага на всички заинтересовани да идентифицират по-добре и да работят заедно за разрешаване на подобни проблеми.
Нашите усилия са признати от индустрията и те следват нашите съвети за коригиране на тези пропуски в сигурността. Ние обаче отваряме врата на един безкраен път. Това, което сега трябва да видим, са големи групи от изследователи, създаващи и тестващи корекции, за да минимизират рисковете за сигурността чрез общности с отворен код. Винаги ще има по-напреднали стратегии, разработвани от нападателите, което означава, че стратегиите за сигурност трябва да вървят в крак. За да направим това, имаме нужда от нова общност, която да се бори с тези атаки от следващо поколение.
Всичко важно от света на технологиите, директно в пощата ти.
С абонирането приемате нашите Условия и Политика за поверителност. Може да се отпишете с един клик по всяко време.
Коментирайте статията в нашите Форуми. За да научите първи най-важното, харесайте страницата ни във Facebook, и ни последвайте в Google Новини, TikTok, Telegram и Viber или изтеглете приложението на Kaldata.com за Android, iPhone, Huawei, Google Chrome, Microsoft Edge и Opera!
