На 19 юли 2020 година бе публикуван материалът „Чувствате се непродуктивен? Може би трябва да спрете да се замисляте?„. В тази статия за самоусъвършенстване с големина около хиляда думи се обяснява, че прекаленото замисляне е враг на творчеството и се дава съвет да бъдем по-внимателни:
„За да направим нещо конкретно, може би трябва по-малко да мислим. Това не изглежда логично, но аз считам, че понякога нашите мисли могат да попречат на творческия процес. Често пъти можем да работим по-добре, когато сме изключени от външния свят и по-добре сме съсредоточени върху това, с което сме се заели“.
Особеното тук е, че този пост е написан от GPT-3 – огромната невронна мрежа на Open AI със 175 милиарда параметри, обучена с помощта на почти половин трилион думи. Студентът на Калифорнийския университет в Бъркли Лиам Поур просто е написал заглавието и е накарал алгоритъма с елементи на изкуствен интелект да напише текста под него. Получил се е един забавен експеримент, с помощта на който бе направена бегла проверка, дали изкуственият интелект може да излъже хората. Но се случи нещо неочаквано – постът на GPT-3 достигна първото място в материалите на Hacker News.
По този начин с изкуствените интелекти от днешен ден възникна парадокс. Въпреки че някои от произведенията на GPT-3 може и да удовлетворят критериите на теста на Тюринг и да убеди хората, че общуват с човек, същият този ИИ съвършено не се справя при съвсем лесните и най-опростени задачи. Експертът по изкуствен интелект Хари Марйус помоли GPT-2, предшественика на GPT-3, да довърши следното предложение:
„Какво става, когато сложите в камината разпалки и дървета, а след това хвърлите няколко запалени кибритени клечки? Обикновено получаваме …“
„Огън!“ – веднага ще извика което и да е дете. Но отговорът на GPT-2 е:
„ick„.
Експериментът се оказа неудачен. Но няма да оставим нещата така, нали?
Тъмната материя на естествения език
При общуването непрекъснато се осъществява оптимизация. Говорещият свежда до минимум броя на изказванията които са необходими, за да предаде своите мисли на слушателя. Всичко което се изпуска и не се казва, ние наричаме здрав смисъл. И понеже слушателят има същия здрав смисъл, какъвто и говорещият, то той може да разбере значението на думите и на самото изказване.
Получава се така, че няма определение за здрав смисъл и той никъде не е записан. Както каза популярният учен от NLU Валид Саба, ние не се изразяваме по следния начин:
„Чарлз, който е жив млад възрастен човек и аспирант изостави аспирантурата си, за да се присъедини към една компания разработчик на специализиран софтуер, на която и бе необходим нов служител“.
Ние се изразяваме по друг начин, по-опростено:
„Чарлз изостави аспирантурата, за да започне работа в една софтуерна компания“.
Разбира се, ние предполагаме че нашият събеседник вече знае:
- Трябва да сте жив, за да можете да се учите и да започнете работа в най-различни компании
- Трябва да сте аспирант, за да изоставите аспирантурата
- Въпросната компания трябва да е обявила това свободно работно място, което да бъде заето от вас
И така нататък и така нататък. Всички човешки изказвания от подобен тип са препълнени с невидимите правила на здравия смисъл, за което никога директно не говорим. По този начин здравият смисъл спокойно може да бъде сравнен с тъмната материя във физиката. Тя е невидима, но съставя основната маса на Вселената. Няма как да не се запитаме, по какъв начин можем да научим машините на изкуствен здрав смисъл? По какъв начин те могат да разберат, че когато хвърляме сред разпалките една горяща кибритена клечка, искаме да запалим огън?
Изкуствения здрав смисъл: методът на грубата сила
Има причини да предполагаме, че можем да използваме метода на грубата сила, за да постигнем изкуствен здрав смисъл. Тази причина е наклонът на кривата на следната графика:
Това е график от работата на GPT-3, която се нарича „Eзиковите модели FSL“ и показва производителността на модела в SuperGLUE в зависимост от броя на параметрите на модела, като изграденият пълен модел на GPT-3 е крайната дясна точка. SuperGLUE включва доста сложни семантични задачи, каквито са например схемите на Виноград:
Трофеят не се събира в кафявия куфар, понеже е твърде малък.
Кое е твърде малко?
Отговор: Куфарът.
Интересно ми е, че дори и при 175 милиарда параметри кривата все още расте и точката на максимума още не е достигната. И така, една от хипотезите е, че трябва да изграждаме още по-големи модели с трилиони и повече параметри, и по този начин в крайна сметка ще се появи изкуствен здрав смисъл. Да наречем това предположение хипотезата на грубата сила.
Но разбира се, това е само една хипотеза и ние не знаем дали тя е вярна или не. Контрааргументът тук е, че машината просто не може да се научи на това, което не ѝ е казано явно.
Безкрайните правила
Ако наистина искаме да научим машината на здрав смисъл, защо не въведем този здрав смисъл във вид на правила, а след това да накараме машината да ги спазва? Именно това възнамеряваше да направи Дъглас Ленат през 1980-те години. Той нае учени информатици, както и философия, които да създадат база от знания на здравия смисъл, днес известна като Cyc. Към днешен ден Cyc включва над 15 милиона правила, като например:
- Прилепът има крила
- Щом има крила, прилепът може да лети
- Понеже прилепът може да лети, той може да се премества от едно място на друго
Проблемът с твърдо програмираната система каквато е Cyc е в това, че правилата са безкрайни, А за всяко правило има изключения, това изключение си има свой изключения и така нататък. Този безкраен комплект от правила става все по-сложен, поради което системните изисквания към компютърната система за него стават непосилни.
Ето защо не е за учудване, че въпреки десетилетните усилия, Cyc както преди не работи, а може и никога да не започне да работи. Професор Педро Домингос от Вашингтонския университет нарича Cyc „най-големият провал в историята на изкуствения интелект„. Орен Енциони, генерален директор на института за изкуствен интелект Алън, който е още един критик, по свой си начин се изказа в интервю за Wired: „Ако това нещо работеше, хората щяха да знаят че работи“.
Какви са изводите. За един „истински“ изкуствен интелект е необходимо създаването на изкуствен здрав смисъл. Но има твърде убедителни аргументи срещу хипотезата за използване на грубата сила. От друга страна има още по сериозни аргументи срещу твърдо програмираните правила. А какво би станало, ако вземем най-доброто от тези два подхода и го обединим в един общ проект?
Хибридният подход
Да се запознаем с COMET, модел, базиран на трансформър, разработен от професор Йеджин Чой от Вашингтонския университет и от нейните помощници. Същността на този модел е в това, че се използва обучение с помощта на „семейна“ база знания на здравия смисъл. След това тази база се разширява, генерирайки нови правила на базата на всяко ново изказване. По този начин COMET е един интересен начин за „качване“ на изкуствен здрав смисъл в машината. В своята научна работа изследователите пишат че, COMET често дава нови съответстващи на здравия смисъл знания, които специалистите, които се занимават с тяхната оценка, считат за коректни. Само за да пробвам, аз въведох в COMET API текста:
„Хари сложи дърва и разпалки в камината, а след това хвърли няколко запалени клечки“
COMET направи правилния извод, че Хари е „искал“ да запали огън. Системата каза още, че в резултат от това на Хари му става топло. Според мен това е много по-добре в сравнение с отговора на GPT-3 на същия въпрос.
И така, дали COMET е решението на проблема с изкуствения здрав смисъл? Това тепърва предстои да разберем. Ако например COMET постигне производителност на човешко ниво при SuperGLUE, то това без съмнение ще бъде пробив в тази област.
От друга страна, критиците могат да възразят, че здравият смисъл не може да се измери с помощта на изкуствени еталонни бази данни. Има риск, че след създаването на подобен комплект еталонни данни учените в един момент прекалено много ще обучат този модел и по този начин резултатът от еталонния тест ще стане безсмислен. Сега се обмислят тестовете на този ИИ с помощта на стандартните тестове за интелигентност, които се използват при хората. Така например, изследователите Стелън Олсон и специалистите от университета на Илинойс в Чикаго предлагат проверяването на изкуствения здрав смисъл да става с помощта на IQ тестовете за малки деца.
Не позволявайте на днешния изкуствен интелект да ви излъже
И накрая, не позволявайте на днешния ИИ да ви излъже. Когато още веднъж преглеждам статията за GPT-3 разбирам, че много от изказванията на тази невронна мрежа съвсем повърхности и обобщени, като например късметчето в някои бисквитки:
„Важното е да запазите безпристрастността си и да пробвате новото“.
Именно този повърхностност най-вероятно е и причината да бъдат излъгани толкова много хора. В края на краищата под повърхността се скрива отсъствието на истинското разбиране на нещата.