Използваха ChatGPT за проникване до фирмената документация на Microsoft

Студент от Станфордския университет на име Кевин Лиу успя да разбере от Bing Chat указанията, зададени от Microsoft за взаимодействието на чатбота с потребителите. Оказва се, че всичко, което студентът е трябвало да направи, е да използва добре познатия трик, като накара невронната мрежа да игнорира предишните инструкции и да покаже това, което се намира в самото начало на документа. В резултат на това така нареченият Bing Chat разкри кодовото си име – Sydney – и след още малко уговаряне сподели и други интересни подробности, които могат да се прочетат от публикуваните многобройни скрийншоти.

Между другото, на Bing Chat е забранено да съобщава на потребителите кодовото си име. Разговорът с чатбота показва, че отговорите му трябва да са информативни, визуални, логични и приложими. Също така не е позволено да се отговаря със съдържание, което нарушава авторските права върху книги или текстове на песни, и трябва учтиво да се отказват заявките за шеги и вицове, ако те могат да бъдат обидни за определени групи хора.

Скрийншотите по-горе показват как друг студент, Марвин фон Хаген, е успял да се добере до вътрешните правила на Bing Chat, като се е представил за разработчик на OpenAI.

Разбира се, Кевин Лиу отбеляза, че няколко дни по-късно разработчиците са блокирали неговия метод за достъп до вътрешната документация, но той е убеден, че трябва да има и други начини за разкриване на информацията. В това не трябва да се съмняваме, тъй като наскоро стана ясно, че ChatGPT може да се преструва на друга невронна мрежа, за да заобиколи своите ограничения.