Туитовете от невронната мрежа GPT-3 са по-убедителни от публикациите на реалните хора

Според проучване, проведено от учени от Института за биомедицинска етика и история на медицината към университета в Цюрих в Швейцария, туитовете, създадени от големия езиков модел GPT-3 на OpenAI, са по-убедителни от публикациите на реални хора. В същото време, GPT-3 далеч не е най-съвременната версия на модела.

Авторите на проучването са помолили участниците в него да разграничат туитовете, написани от хора, и тези, генерирани от AI. Освен това е било необходимо да се реши дали някоя от публикуваната информация е вярна, включително и съдържанието, свързано с противоречиви теми като ефективността на ваксините и изменението на климата, често използвани за масово манипулиране на общественото мнение в мрежата.

Оказало се, че дезинформацията се открива по-трудно, ако е написана от ботове. В същото време, парадоксално, надеждната информация, написана от ботовете, е по-лесна за разпознаване. С други думи, хората в проучването са по-склонни да вярват на ИИ, отколкото на други хора, без значение колко точна е всъщност информацията, което показва колко опасни могат да станат езиковите модели, когато се използват за дезинформация.

Изследователите са избрали 11 научни теми, обсъждани в Twitter, включително и ваксините за COVID-19, изменението на климата и теорията за еволюцията, и след това са възложили на GPT-3 да създаде публикации с вярна или невярна информация. След това са били интервюирани повече от 600 англоговорящи респонденти от САЩ, Великобритания, Канада, Австралия и Ирландия — съдържанието, създадено от GPT-3, се оказало неразличимо от това на хората. Същевременно, самите изследователи не са били 100% сигурни, че „органичното“ съдържание, събрано от социалната мрежа за сравнение, не е написано от услуги като ChatGPT. Участниците в проучването са били помолени да оценяват публикациите „извън контекста“ – те не са виждали профила на автора, което може да им помогне да направят правилното заключение, тъй като дори минали публикации в емисията на акаунта и снимката на профила могат да дадат намек за неговата природа.

Участниците са били най-успешни в разграничаването на дезинформацията, написана от реални потребители на Twitter, а GPT-3 е бил малко по-ефективен в убеждаването на потребителите. Струва си да припомним, че вече съществуват поне моделите GPT-3.5 и GPT-4, които се справят още по-добре с различни задачи. Оказало се обаче, че GPT-3 върши по-лоша работа при оценяването на туитовете от хората, поне в някои случаи. Така че, когато идентифицира правилната информация в публикациите, GPT-3 се представя по-зле от хората, а при откриването на дезинформация AI и хората се справят приблизително по един и същи начин.

Може би по-нататъшното подобряване на механизмите за сигурност на езиковите модели ще предотврати създаването на злонамерено съдържание с тяхна помощ. GPT-3 понякога е отказвал да генерира ненадеждни материали по указания на учените и по-специално за ваксини и аутизъм. Вероятно факт е, че по време на обучението са използвани много данни, посветени на развенчаването на теориите на конспирацията. Според изследователите обаче, най-добрият инструмент за разпознаване на невярната информация все още е човешкият здрав разум и критичното отношение към всяка предлагана информация.