Изкуственият интелект не разбира комиксите

Невронните мрежи демонстрират удивителни успехи в игрите, в разпознаването на човешки лица, в четенето по устните на хората и с всеки изминал ден „победите“ на невронните мрежи срещу човека се увеличават. Но има специфични задачи, в които ИИ дори и не може да се приближи до човешкото ниво.

Една от тези задачи е изкуственият интелект да разбере комиксите – популярните разкази в картинки. Характерна черта на комиксите е, че е особено важно въображението на читателя. Човекът трябва да си доизмисля, какво точно се случва в тази нарисувана история. Учените оптимисти от университетите в Колорадо и Мериленд се опитаха да обучат невронна мрежа да схваща какво се случва в комиксите, но сгрешиха.

В комикса, авторът разказва всякакви истории, но истинското майсторство не е само в показването на картинките, а в това, което е скрито и зрителят трябва да се досети за какво става дума, а неговото въображение да рисува ярки образи.

Оказа се, че тази задача е непосилна за невронните мрежи.

За обучението на новия ИИ е използвана голяма база от комикси – около 1,2 милиона картинки и 4000 публично достъпни книги с нарисувани истории, излезли през златните за комиксите 1938-1954 години. Тази база се нарича COMICS, има обем от 120 GB и може да бъде изтеглена от GitHub. Изглежда че това е първият в историята комплект данни с комикси за обучение на невронна мрежа.

Обучението е стандартно за невронните мрежи – показват се множество изображения, след което е необходимо да се предскаже следващия текст, изображение и съответствие на текста.

Изкуственият интелект за комикси е съставен от четири невронни мрежи, отговарящи за текста, изображенията и два варианта за съответствие на текст и изображение.

Новият ИИ твърде зле се представя при решаването на тези задачи и показва много по-лош резултат от човека (съответно 33% и 50%).

По всичко личи, че разбирането смисъла на комиксите е уникална задача, която може да реши единствено човекът. ИИ печели в шаха и Го, разпознава изображения и човешка реч, имитира картините на известни художници, но да разбере смисъла на комиксите засега не може. Той няма въображение.

Научната работа е публикувана на 18-ти ноември в arXiv.