Meta създаде отворен AI-модел с поддръжка на 4000 езика

Meta пусна отворения модел с изкуствен интелект Massively Multilingual Speech (MMS), който разпознава разговорна реч на 4000 езика и ги възпроизвежда, тоест преобразува текста в реч на повече от 1100 езика.

Моделите за разпознаване на реч и преобразуването на текст в реч обикновено включват обучение за няколко хиляди часа аудиозаписи с текстова транскрипция. Но задачата става много по-сложна за езиците, които не се използват в индустриалния свят – за тях изходните данни в традиционния формат просто не съществуват, казват от Meta. Затова, компанията подходи креативно и се обърна към религиозните текстове – Библията и другите основополагащи книги са преведени на голям брой езици и има много публично достъпни аудиозаписи, в които се четат тези текстове. Обучението на модела беше затруднено от факта, че аудиозаписите нямаха точно текстово разпознаване, но в резултат на това броят на поддържаните езици надхвърли 4000.

Авторите на проекта подчертават, че въпреки съдържанието на обучителните материали, моделът, обучен върху тези текстове, няма пристрастия към религиозен мироглед; няма пристрастия по отношение на пола, въпреки че по-голямата част от избраните аудио-записи са прочетени от мъже. Проблемът с липсата на текстово разпознаване в аудиозаписите беше преодолян от wav2vec 2.0 – още един Meta AI-модел, предназначен за „обучение на представената реч със самоконтрол“. Компанията предупреди, че резултатът може да не е перфектен – съществува риск моделът за преобразуване на речта в текст да тълкува погрешно някои думи и фрази, а в други случаи контекста на подобни грешки понякога е обиден. Но на практика, казват разработчиците, MMS показва наполовина по-малко грешки от съществуващите аналози, включително и при модела OpenAI Whisper, и поддържа 11 пъти повече езици.

На практика, проектът ще даде на говорещите редки езици достъп до информация и технологични продукти – повечето от услугите на съвременните технологични гиганти са ограничени до набор от 100 езика и това състояние на нещата се счита за неприемливо от Meta.