Компанията майка на Facebook, Meta, създаде нов AI модел, който е способен да превежда на 200 различни езика, много от които не се поддържат от настоящите търговски инструменти за превод. Компанията стартира този проект с отворен код с надеждата, че други разработчици ще надграждат върху нейната работа.
AI моделът е част от амбициозен проект за научноизследователска и развойна дейност на Meta за създаването на така наречения „универсален преводач на реч“, който компанията смята за един от ключовите компоненти за развитието на множество от нейните услуги – в това число Facebook и Instagram, но и AR и VR технологиите, които разработва. Машинният превод не само ще позволи на Meta да разбира по-добре своите потребители, както и да подобри рекламните си стратегии, които генерират над 97 процента от приходите на компанията, но също така и може да се превърне в изключително силен актив, носещ огромна добавена стойност към бъдещите стратегически проекти на компанията, а именно очилата и шлемовете за добавена реалност.
Експертите в областта на машинния превод заявяват, че тази развойна дейност на Meta е наистина задълбочено и амбициозно, но отбелязват, че качеството на някои от преводите, които този нов модел прави, вероятно ще бъде доста компромисно, спрямо това, което компанията използва в момента, за да превежда съдържанието в платформите си на някои от най-популярните езици, като немски и италиански.
„Основният принос тук са данните“, казва професор Александър Фрейзър, експерт по компютърна лингвистика в LMU Мюнхен в Германия. „Това, което е ключово, са стоте нови езика за превод, които могат да бъдат добавени за услугите на Meta.“, допълва той.
Постиженията на Meta произтичат, донякъде парадоксално, както от обхвата, така и от фокуса на нейните основни изследвания. Докато повечето модели за машинен превод работят само с няколко езика, моделът на Meta е коренно различен – той по-скоро представлява една система, която е способна да превежда между 200 различни езика. Но Meta също така се интересува и от това да направи поддръжка за езици „с ниски ресурси“ към модела си – става дума за езици с по-малко от 1 милион публично достъпни преведени двойки изречения. Те включват множество африкански и индийски езици, които обикновено не се поддържат от наличните търговски инструменти за машинен превод.
Какво е необходимо, за да се създаде технология за превод, която поддържа толкова езици?
Изследователят по изкуствен интелект в Meta Анджела Хан, която работи по проекта, каза пред The Verge, че екипът ѝ е бил вдъхновен от липсата на внимание към т.нар. „езици с нисък ресурс“. „Всъщност дори не съществуват инструменти, които действително да могат да превеждат автоматизирано тези езици, затова започнахме работа по този проект“, казва тя. „Имаме мотивация да създадем технология за превод, която работи за всички.“
Фен казва, че моделът, описан в изследователската статия, вече се тества в подкрепа на проект, който помага на редакторите на Wikipedia да превеждат статии на други езици. Техниките, разработени при създаването на модела, също скоро ще бъдат интегрирани в инструментите за превод на Meta.
Как се оценява един превод?
Преводът е наистина трудоемка задача, а както добре знаем, когато е извършен с помощта на алгоритми, те често могат да доведат до значителни грешки. Когато се прилага автоматизиран превод за платформи от мащаба на Meta, дори малък брой грешки могат да доведат до катастрофални резултати и последици. За пример можем да дадем случая, при който Facebook неправилно преведе с автоматизираните си инструменти публикация на палестински гражданин от „Добро утро“ на „Нарани ги“, което доведе до ареста му от израелската полиция.
За да оцени качеството на резултатите на новия модел, Meta е създала набор от тестови данни, състоящи се от 3001 двойки изречения за всеки език, обхванат от модела, всяко преведено от английски на целевия език, от професионален преводач, за който въпросният език е роден.
Изследователите са обработили всички тези изречения през техния модел и са сравнили машинния превод с човешките изречения, използвайки стандарт, който се среща често в машинния превод, известен като BLEU, което означава Bilingual Evaluation Understudy.
BLEU позволява на изследователите да сравняват със статистически инструменти числови резултати, измерващи припокриването между двойките изречения, а от Meta казват, че техният модел води до подобрение от 44 процента в резултатите по BLEU на поддържаните езици. Въпреки това, както често се случва в изследванията на ИИ, преценката на напредъка въз основа на сравнителни показатели изисква да се даде контекст. В крайна сметка този стандарт за измерване позволява на изследователите да сравняват относителния напредък на различните модели за машинен превод, но това само по себе си не предлага абсолютна мярка за способността на софтуера да създава преводи с човешко качество. Не трябва да забравяме и че наборът от изречения с човешки превод, които Meta е използвала, за да го сравни с машинния, е превеждан от само един човек за всеки съответен език. Това осигурява една базисна преценка за качеството на този превод, но в крайна сметка сравняването на машинния превод с такъв, направен само от един човек за един съответен език не е достатъчно.
Кристиан Федерман, главен изследователски мениджър, който работи върху машинния превод в Microsoft, каза, че проектът като цяло е „похвален“ в желанието си да разшири обхвата на софтуера за машинен превод към по-малко представени в дигиталните платформи езици.