Робот-готвач се научи да готви с гледането на видео

Изследователи от Университета в Кеймбридж програмираха робот-готвач да приготвя салати по осем опростени рецепти. След като гледал видеоклип, в който човек демонстрира една от рецептите, роботът успял да определи коя е рецептата и да приготви салата по нея. В края на експеримента роботът успял да приготви ястие по нова рецепта, с която не бил запознат преди това. Резултатите на учените показват, че видеосъдържанието може да бъде ценен източник на данни за обучение на роботи и автоматизираното производство на храни. Но не и видеоклиповете от YouTube – те не са подходящи за подобно обучение.

Учените са подготвили осем прости рецепти за салати и са заснели как ги приготвят готвачите. След това изследователите са използвали публично достъпна невронна мрежа, за да обучат своя робот-готвач. Невронната мрежа вече е била програмирана да разпознава различните обекти, включително плодовете и зеленчуците, използвани в осемте рецепти за салати – броколи, моркови, ябълка, банан и портокал.

Използвайки методи за компютърно зрение, роботът е анализирал всеки кадър от видеоклипа и е идентифицирал различните обекти и техните характеристики – ножа, съставките, ръцете, дланите и лицето на човека демонстратор. Разпознавайки съставките и действията на човека готвач, роботът определи коя рецепта се приготвя. Така роботът стига до заключението, че ако човекът демонстратор държи нож в едната си ръка и морков в другата, морковът ще бъде нарязан.

От 16-те гледани видеоклипа роботът разпознава правилната рецепта в 93% от случаите, въпреки че разпознава само 83% от действията на човека готвач. Роботът също така разбра, че малки промени в рецептата, като например приготвяне на двойна порция или човешка грешка при добавянето на съставка, са вариации, а не нова рецепта.