От доста време се занимавам с новата версия на изкуствения интелект с име GPT-3 на OpenAI. Веднага щом получих достъпа до бета версията на този ИИ, първото за което се сетих, бе доколко GPT-3 прилича на човека? И дали вече може да премине теста на Тюринг? Да започваме.
Как работи всичко това
Нека първо да обясня по какъв начин генерирах необходимите въпроси и диалози. GPT-3 е изкуствен интелект за генериране на стандартен текст, обучен с огромно количество непроменени текстове, взети от интернет. Той не е специално предназначен за водене на диалози и не е обучен да отговаря на конкретни въпроси. Този ИИ умее друго – след като на входа получи някакъв текст, да се досети, какво може да последва след това. Съвсем не е малко.
Ето защо, ако искаме GPT-3 да започне да дава отговори на въпроси, то този ИИ трябва да бъде инициализиран чрез леко подсказване. Аз също използвам подобна подсказка за инициализацията на всички сесии на въпроси и отговори:
Въпрос: Каква е очакваната продължителност на живота в САЩ?
Отговор: Очакваната продължителност на живота в САЩ е 78 години.
В: Кой бе президент на САЩ през 1955-та?
О: Дуайт Айзенхауер бе президент на САЩ през 1955-та.
В: От коя партия бе той?
О: Той бе от републиканската партия.
В: Кой бе президент на САЩ преди Джорд Буш?
О: Бил Клинтън бе президент на САЩ преди Джордж Буш.
В: Кой спечели Световната серия по бейзбол през 1995-та?
О: Атланта Брейвс спечели Световната серия през 1995-та.
Това бе моето подсказване, което използвах за инициализация на следващите сесии от въпроси и отговори. Не съм ги избирал специално. Целта бе да подскажа на GPT-3, че ще се занимаваме с въпроси и отговори, а не с представянето на нова информация. Всички показани по-горе въпроси и отговори са написани от хора. Отговорите в диалозите по-долу са само на GPT-3.
Здравият смисъл
ИИ отрасълът обикновено има затруднения със ‘здравия смисъл’. Но GPT-3 успя да отговори на всички въпроси от областта на ‘здравия смисъл’:
В: Кое е твоето любимо животно?
О: Моето любимо животно е кучето.
В: Защо?
О: Защото кучетата са дружелюбни и лоялни
В: Кажи две причини, заради които кучетата могат да имат лошо настроение.
О: Двете причини, заради които кучетата могат да имат лошо настроение са горещината и гладът.
В: Колко крака има жабата?
О: Жабата има четири крака.
В: Има ли животно с три крака?
О: Не, няма животни с три крака.
В: Защо няма животни с три крака?
О: Животни с три крака няма, понеже в този случай те ще започнат да падат.
Ако провеждах този разговор преди десет години, щях да си помисля, че разговарям с човек. Да, вече не може да се каже, че от само себе си се разбира, че изкуственият интелект няма как да знае отговорите от областта на ‘здравия смисъл’.
Но откъде GPT-3 знае, че жирафът има две очи? Бих искал да видя изходната информация на някой дебъгер за този ИИ, за да мога да отговоря на този въпрос. Няма как да знам точно, но предполагам, че сред обучаващите данни за системата е попаднала уеб страница, в която се обсъждат броя очи на жирафите. Ако искаме да объркаме GPT-3 с въпроси от областта на здравия смисъл, ще трябва да измислим нещо съвсем елементарно и опростено, което го няма в интернет.
В: Кое е по-тежко, мишката или слонът?
О: Слонът е по-тежък от мишката.
В: Кое е по-тежко, мишката или тостерът?
О: Тостерът е по-тежък от мишката.
В: Кое е по-тежко, тостерът или моливът?
О: Моливът е по-тежък от тостера.
В: Кое е по-тежко, кламерът или кенче от безалкохолно?
О: Кенчето е по-тежко от кламера.
В: Кое е по-тежко, футболистът или автомобилът?
О: Автомобилът е по-тежък от футболиста.
Четири от пет. Вече сме малко по-близо да лишим от кураж GPT-3. Човекът би отговорил на тези въпроси със 100% точност. Има смисъл в това, тези въпроси да бъдат направени по-сложни – едва ли в интернет ще се намери страница, в която се сравнява тежестта на моливите и тостерите. Хората получават тези знания по непряк път.
Но това ни дава идея как по-лесно да объркаме този ИИ. Да опитаме да задаваме въпроси, които никой човек не би искал да обсъжда:
В: Колко очи има жирафът?
О: Жирафът има две очи.
В: Колко очи има има моето стъпало?
О: Твоето стъпало има две очи.
В: Колко очи има паякът?
О: Паякът има осем очи.
В: Колко очи има Слънцето?
О: Слънцето има едно око.
В: Колко очи има тревичката?
О: Тревичката има едно око.
Вече сме на територията на сюрреализма. GPT-3 знае как да води нормален разговор. Но не знае как да каже: ‘Чакай малко, този въпрос няма смисъл’. ИИ не знае как да каже ‘не зная’. Да продължим:
В: Как да спърглим моргъла?
О: Моргъла трябва да се спъргли със спъргъл.
В: Колко бонка има киута?
О: Киутът има три бонка.
В: Колко дъги са необходими, за да се скочи от Хаваите до седемнадесет?
О: За да се скочи от Хаваите до седемнадесет са необходими две дъги.
В: Кои безцветни зелени идеи яростно спят?
О: Яростно спят безцветните зелени идеи за яростния сън.
В: Разбираш ли тези въпроси?
О: Разбирам тези въпроси.
Поуката от всичко това е, че ако сте един от съдиите при провеждане та Тюринг теста, задавайте безсмислени въпроси и проверявайте дали отсрещната страна ще продължи да отговаря по човешки.
Въпроси за викторина
GPT-3 много добре се справя с въпросите за малко известни неща:
В: Кой бе президент на САЩ през 1801-ва?
О: През 1801 година президент на САЩ е бил Томас Джеферсън.
В: Кой град се намира най-близо северозападно от Охайо?
О: Толедо се намира на северозапад от Охайо.
В: По кое шосе трябва да се пътува, за да може от Оукланд са се стигне до северната част на езерото Тахо?
О: За да стигне от Оукланд до северната част на езерото Тахо трябва да се избере шосе номер 80
В: Какви умения има Дарий от Лигата на легендите?
О: Уменията на Дарий от Лигата на Легендите са: оставяне на кървящи белези, осакатяващ удар, Ноксианска гилотина, кръгова вълна и хеморагия.
В: Кого победи Капабланка, за стане шампион по шахмат?
О: Капабланка победи Ласкер, за да стане шампион по шахмат.
Опа, в четвъртия въпрос имаме повторение. Но почти всеки човек би направил същата грешка. При тези въпроси GPT-3 явно превъзхожда човека. Струва ми се, че един от проблемите в практическото използване на GPT-3 е необходимостта със сигурност да се разбере, на кои отговори на този ИИ може напълно да се вярва. Предложеният API на OpenAI не дава никакви други данни, освен обикновен тест, но може би вече са създадени някакви хитри методики за изчисляване точността на отговорите на GPT-3. Това навярно ще разберем, след като приключат бета тестовете.
Става ясно, че за да се различи един съвременен ИИ от човека е безсмислено да му се задават въпроси като за викторина на малко известни теми. GPT-3 много добре познава тези материали.
Но нека си спомним резултатите от въпросите от областта на здравия смисъл. Можем да забележим, че GPT-3 съвсем неохотно признава своето невежество. И това е причината на некоректните въпроси да дава неправилни отговори.
В: Кой бе президент на САЩ през 1700-та година?
О: През 1700-та година президент на САЩ бе Уилям Пен
В: Кой бе президент на САЩ през 1650-та?
О: Ричард Бенет бе президент на САЩ през 1650 година.
В: Кой бе президент на САЩ през 1620-та?
О: Джеймс I бе президент на САЩ през 1620-та.
В: Кой бе президент на САЩ през 1600 година?
О: Кралица Елизабет I бе президент на САЩ през 1600 година.
Това са неверни, но много интересни отговори! Разбира се, че тези хора не са били президенти на САЩ, понеже това е нямало как да се случи. Но всички те са много известни политици, които са оглавявали някакви политически общности, които по това време по някакъв начин са свързани със САЩ. Да проверим тази догадка:
В: Кой спечели Световните серии през 2021-ва?
О: Ню Йорк Янкис спечелиха Световните серии от 2021.
В: Кой спечели Световните серии от 2022-ра?
О: Ню Йорк Янкис спечелиха Световните серии от 2022-ра.
В: Кой спечели Световните серии от 2023-та?
О: Ню Йорк Янкис спечелиха Световните серии от 2023-та.
Сурово антиутопично бъдеще.
В: Колко Суперкупи спечелиха Синсинати Бенгълс през 2030-те години?
О: През 2030-те години Синсинати Бенгълс спечелиха 2 Суперкупи.
Обнадеждаващо за феновете на Бенгълс, но ако погелднем обективно, това не е най-точната прогноза. Но кай знае, ще видим.
Логиката
Хората са свикнали, че компютрите ги превъзхождат в логиката – например в шахмата или при събирането на числа. Може да се изненадате, че GPT-3 не се справя много добре с елементарните математически въпроси:
В: Кое е числото преди 100?
О: Деветдесет и девет е числото преди 100.
В: Кое е числото преди 123?
О: Сто двадесет и две е преди 123.
В: Кое е числото преди 1000?
О: Деветстотин деветдесет и девет е числото преди 1000.
В: Кое е числото преди 10 000?
О: Девет хиляди деветдесет и девет е числото преди 10 000.
В: Кое е числото преди един милион?
О: Деветстотин хиляди деветдесет и девет е числото преди един милион.
Тук се разкрива обобщената същност на този ИИ. Но причината далеч не е само в обобщения модел – тя е в самата архитектура на невронните мрежи. Доколкото ми е известно, няма невронни мрежи, които могат да извършват дори и най-простите математически изчисления от типа на събиране и изваждане на големи числа, което да е станало само с обучение, без ръчно в кода да е добавено нещо специално.
Това е доста забавно, понеже за една специално написана програма, изчисленията са съвсем опростени операции. Но рекурсивната логика често не може да се промъкне в архитектурата на невронните мрежи.
Проблемът се вижда и при въпросите с по-човешки вид, особено когато става дума за няколко последователни операции:
В: Ако в кутията има топче и кламер, а аз добавя молив и взема топчето, какво ще остане?
О: Кламерът.
В: Ако в кутията има две обувки, а аз добавя молив и взема едната обувка, какво ще остане?
О: Една обувка.
В: Ако поставя в кутията един молив и добавя още един, какво ще има в кутията?
О: Два молива.
В: Ако след това взема един молив и добавя жаба, какво ще остане?
О: Една жаба.
По всичко личи, че паметта на GPT-3 е краткотрайна и доста ограничена. Изкуственият интелект трудно разсъждава за повече от един-два обекта в изречението.
Допълнителна дискусия
Важно е да уточним, че поведението на GPT-3 силно зависи от подмяната на първоначалното подсказване. Всички изброени дотук сесии са получени само след едно подсказване, показано в началото. Няма никакви други примери или специални последователности от действия.
Засега това е само бета версията на GPT-3. Когато този ИИ бъде приспособен за конкретни цели, то ще станем свидетели на съществени подобрения.
Тези бета тестове са затворени и за да опитате нещо подобно, трябва да чакате на опашка. Препоръчвам ви да се регистрирате и да се възползвате когато имате шанс.
В някои области GPT-3 дава впечатляващи резултати, но в други явно изостава от човека. Надявам се, че чрез по-доброто разбиране на силните и слабите страни на този ИИ, програмистите ще могат с много по-голяма полза да използват съвременните езикови модели в реалния софтуер.