„Рататуй“ на 150 езика (но има един нюанс). Broadcom показа чип с изкуствен интелект за превод на видео

Технологията обещава поддръжката на 150 езика, включително редките диалекти.

Broadcom представи нов чип с невронна мрежа за извършване на гласов превод и аудиоописание директно в устройството, без да се свързва с каквито и да било облачни услуги. Заедно с CAMB.AI разработчиците целят да променят подхода към обработката на мултимедията, като направят технологиите за достъпността по-автономни и сигурни.

Основното предимство на новата система е изцяло локалната обработка. Всички процеси се извършват вътре в устройството, без да се изпращат данни към външни мрежи. По този начин латентността се свежда до минимум, намалява се натоварването на комуникационните канали и се увеличава поверителността. Това е особено важно за задачи, свързани с превод на реч и създаване на описания на случващото се на екрана – функции, които са търсени от хора със зрителни или слухови увреждания.

Като пример разработчиците демонстрираха кратък видеоклип, в който технологията озвучава и съпровожда фрагмент от анимационния филм „Рататуй“ с визуален превод. Системата автоматично разпознава какво се случва в кадъра, формира описание и го възпроизвежда с глас на няколко езика. В същото време текстът се показва синхронно на екрана. Според екипа подобни функции ще помогнат филмите и телевизионните предавания да станат по-достъпни за по-широка аудитория.

Настоящата демонстрация обаче не отразява условията в реалния живот. Видеоклипът е редактиран ръчно и не е ясно как системата ще се справи със съдържание на живо – особено в реално време и с нестабилни звуци. Точността на описанията също остава открит въпрос, особено при размита визуална информация. Въпреки това вече е известно, че гласовият модел, залегнал в основата на решението, се използва в предавания на NASCAR, в телевизионния канал Comcast и дори в рамките на музикалния конкурс Евровизия.

Създателите обещават поддръжка на повече от 150 езика, включително редки диалекти, и заявяват висока гъвкавост за внедряване в различни устройства – от телевизори до носима електроника. Конкретни дати за появата на продуктите на пазара не се посочват: проектът е във фаза на тестване. Това не е единствената стъпка на Broadcom в посока на изкуствения интелект – по-рано компанията обяви партньорство с OpenAI за производство на специализирани чипове, насочени към генеративни задачи на изкуствения интелект.