Google е с една стъпка по-близо до създаването на ИИ, който мисли като човек

Преди повече от 7 години Google направи пробив, като разработи архитектурата на невронната мрежа Transformer, която сега е в основата на генеративните приложения с изкуствен интелект, включително ChatGPT на OpenAI.

Сега компанията представи новата си архитектура Titans – нова стъпка към ИИ, който може да мисли като човек.

Архитектурата Transformer не разполага с дългосрочна памет, което ограничава способността ѝ да запазва и използва информация за дълги периоди от време, въпреки че това е присъща характеристика на човешкото мислене. Titans предвижда възможност за невронна дългосрочна памет, краткосрочна памет и система за обучение, базирана на изненади – всички тези елементи хората използват, за да запомнят неочаквани или много важни събития.

Transformer разполага с един вид „прожектор“ – механизъм, който позволява на ИИ да подчертава най-важните думи в изречение и фрагменти от набор от данни във всеки един момент. Titans също го има, но той работи съвместно с огромна библиотека – модул за дългосрочна памет, който отговаря за съхраняването на важната информация. Този механизъм напомня на ученик, който може да се върне към записките, направени в началото на семестъра, вместо да се опитва да запомни всичко наведнъж.

Фокусът на Titans върху съответните детайли и способността му да се връща към натрупаните знания му позволява да обработва огромни количества данни, без да пропуска важни подробности. С интелигентна „метрика на изненадата“, която помага да се приоритизират ключови части от данни, Titans превъзхожда съществуващите модели на изкуствен интелект в различни задачи: езиково моделиране, прогнозиране и ДНК моделиране. По този начин новата архитектура доближава ИИ до механизмите на човешкото познание.

Способността на новия ИИ да запазва обширен контекст ще му помогне да революционизира научните изследвания, например чрез проследяване на научната литература, или да открива аномалии в огромни масиви от данни, в медицината или финансите, тъй като системата „помни“ какво е норма и подчертава това, което се квалифицира като „изненада“.

Новата архитектура отчасти възпроизвежда човешките когнитивни процеси – освен краткосрочната и дългосрочната памет, това е способността да се „забравя“ по-малко важната информация и да се определят по-точно приоритетите. По същия начин хората могат по-лесно да запомнят събития, които нарушават техните очаквания – тази особеност ще помогне за създаването на по-фини и контекстно зависими системи на ИИ. Съвременните системи, базирани на архитектурата Transformer са способни да обработват заявки с контекст до 2 милиона лексеми, а Titans остава ефективeн дори над тази граница, като поддържа висока точност при огромни обеми от входни данни.

Механизмът „метрика на изненадата“ позволява на системата да определи каква информация трябва да се запише в дългосрочната памет – приоритет се дава на елементите, които нарушават очакванията. Това не само отразява човешките когнитивни механизми, но е и ново решение за управление на ограничените ресурси на паметта в ИИ. Първите тестове на системи, базирани на архитектурата Titans показаха обещаващи резултати в редица задачи, например в задачи, свързани с извличане на определена информация от огромни текстове: с увеличаване на дължината на контекста съществуващите модели показват рязък спад в точността, докато новата архитектура запазва ефективността си.

Трябва да се отбележи обаче, че технологията Titans е все още в ранен етап и не могат да се изключат трудности при внедряването ѝ в практически приложения.

Твърде рано е да се преценят изискванията на системата към изчислителните алгоритми, ефективността на обучението и възможните заплахи – всичко това ще стане по-ясно с развитието на технологията, a способността на ИИ да съхранява и оценява информация може да повдигне въпроси за неприкосновеността на личния живот, механизмите за обработка на данни и непредсказуемото поведение на системите с ИИ.