Nvidia пусна големия отворен набор от данни Granary за обучението на ИИ и работата с текстове на европейски езици

Nvidia представи голям набор от данни и два модела с изкуствен интелект за разпознаване и превод на реч на европейски езици. Наборът от данни, наречен Granary, включва около милион часа аудио, от които над 650 000 часа са за системата за разпознаване на реч и 350 000 часа за превод. 

Granary обхваща 25 европейски езика — всичките 24 официални езика на Европейския съюз, плюс руски и украински. В допълнение към широко представените езици като немски и френски, Granary включва аудиозаписи на сравнително редки езици, за които големи масиви от данни не са били публикувани преди това, като хърватски, естонски и малтийски. 

За да създаде Granary, компанията си партнира с изследователи от университета Карнеги Мелън и фондация „Бруно Кеслър“. За обработката на аудио данните е използван инструментариумът NeMo Speech Data Processor, който преобразува немаркираните публични аудио записи във формат, лесен за обучение на изкуствен интелект. Този процес значително намалява необходимостта от ръчно етикетиране, което прави обучението на моделите по-бързо и по-евтино. 

В допълнение към набора от данни, Nvidia представи и нови ИИ-модели — Canary и Parakeet. Canary-1b-v2 е мащабен модел с милиарди параметри, обучен на Granary, предназначен за сложни задачи като дълги текстове и двупосочен превод между английски и 24 други езика. Моделът поддържа функции за автоматично възстановяване на пунктуационни знаци и може също така да създава времеви отпечатъци за думи и фрази, което е полезно при създаване на субтитри.

Втората версия —- Parakeet-tdt-0.6b-v6 —- е по-компактен модел, предназначен за бързо изпълнение на ежедневни задачи, като стрийминг транскрипция и бърз превод на реч в реално време.

Nvidia се надява, че отвореният достъп до Granary и моделите Canary и Parakeet ще насърчи изследователската общност да разработва нови приложения и продукти с ефективно разпознаване и превод на реч. Комплектът вече е достъпен за разработчиците на платформи като Hugging Face.