В „Яндекс Браузър“ стана възможно едновременното превеждане и озвучаване на руски не само на видеоклиповете, които вече са споделени в YouTube и Vimeo, но и при онлайн-излъчването в реално време – озвучаването е възможно директно в ефир. Новата функция в момента е в отворено бета-тестване и е ограничена до фиксиран набор от канали.
За 10 месеца потребителите на „Яндекс Браузър“ са гледали 81 милиона видеоклипа със задкрадров превод, пишат разработчиците на Yandex Browser. След това преводът става достъпен под формата на интерактивни субтитри, а сега е ред на предаванията на живо. Автоматизираният симултанен превод е трудна задача. В зависимост от контекста, няколко руски думи могат да съответстват на една чужда дума, така че в идеалния случай невронната мрежа трябва да „захрани“ възможно най-много текст. При работа в реално време обаче това е изключително трудна задача, тъй като забавянето трябва да е минимално.
Следователно беше необходимо изграждането на цялостна архитектура за автоматизиран превод, включваща няколко паралелно работещи невронни мрежи: първата разпознава звуковата последователност и я превежда в текстов формат, втората определя пола на говорещия, третата поставя препинателните знаци и семантичните акценти, а четвъртата вече получава резултата от работата на третата и всъщност превежда и озвучава.
Списъкът на поддържаните от системата YouTube-канали е достъпен на специална страница. В бъдеще разработчиците на „Яндекс Браузър“ планират да добавят симултанен превод към стриймовете на Twitch. В момента невронните мрежи на Yandex работят с английски, немски, френски, италиански и испански, а по-късно ще бъдат добавени още няколко европейски езика, както и японски, китайски и други.