OpenAI успешно обучи бот на Minecraft с помощта на 70 000 часа видеоклипове от игри

Защо е важно: Minecraft може да не звучи като важен инструмент, който подпомага напредналите изследвания на ИИ. В края на краищата, какво толкова важно има в това да научиш машина да играе на игра от пясъчник, пусната преди повече от десетилетие? Въз основа на неотдавнашните усилия на OpenAI, добре обучен Minecraft бот е по-важен за напредъка на ИИ, отколкото повечето хора могат да си представят.

OpenAI винаги се е фокусирала върху постиженията в областта на изкуствения интелект (ИИ) и машинното обучение, които са от полза за човечеството. Неотдавна компанията успешно обучи бот да играе Minecraft, като използва над 70 000 часа видеоклипове от игри. Постижението е нещо много повече от просто бот, който играе игра. То бележи гигантска крачка напред в усъвършенстваното машинно обучение с помощта на наблюдение и подражание.

Ботът на OpenAI е отличен пример за имитационно обучение (наричано още „обучение под наблюдение“) в действие. За разлика от обучението с подсилване, при което обучаващият се агент бива възнаграждаван след постигане на цел чрез проби и грешки, обучението с подражание обучава невронните мрежи да изпълняват конкретни задачи, като наблюдават как хората ги изпълняват. В този случай OpenAI използва наличните видеоклипове и уроци за игра, за да научи своя бот да изпълнява сложни последователности в играта, за които на типичния играч са необходими около 24 000 отделни действия.

Обучението по имитация изисква входните видеоклипове да бъдат маркирани, за да се предостави контекстът на действието и наблюдавания резултат. За съжаление този подход може да бъде много трудоемък, което води до ограничени налични набори от данни. Този недостиг на налични набори от данни в крайна сметка ограничава способността на агента да се учи чрез наблюдение.

Вместо да се нагърбва с мащабно ръчно маркиране на данни, изследователският екип на OpenAI използва специфичен подход, известен като Video Pre-Training (VPT), за да разшири значително броя на наличните маркирани видеоклипове. Първоначално изследователите заснели 2000 часа анотиран геймплей на Minecraft и го използвали, за да обучат агент да свързва конкретни действия с конкретни резултати на екрана. Полученият модел след това бива използван за автоматично генериране на етикети за 70 000 часа немаркирано преди това съдържание на Minecraft, което е лесно достъпно онлайн, осигурявайки на Minecraft бота много по-голям набор от данни за преглед и имитация.

Цялото упражнение доказва потенциалната стойност на наличните видео хранилища, като YouTube, като ресурс за обучение на изкуствен интелект. Учените, занимаващи се с машинно обучение, биха могли да използват наличните и правилно маркирани видеоклипове, за да обучават ИИ да изпълнява конкретни задачи, вариращи от проста уеб навигация до подпомагане на потребители с реални физически нужди.