Nvidia пуска AI-платформа за преподаване на жестомимичен език

Nvidia представи нова платформа за изкуствен интелект, за да научи хората как да използват американския жестомимичен език, за да помогнат за преодоляване на комуникационните бариери. Платформата Signs създава подбран набор от данни за изучаващите жестомимичен език и разработчиците на базирани на ASL приложения.

Американският жестомимичен език случайно е третият най-разпространен език в Съединените щати — но има много по-малко инструменти за изкуствен интелект, изградени на базата на ASL данни, отколкото тези, базирани на данни от най-разпространените езици в страната — английски и испански.

Nvidia, Американското общество на глухите деца и творческата агенция Hello Monday помагат да се преодолее тази празнина със Signs — интерактивна уеб-платформа, създадена за изучаване на езика на жестовете и разработване на базирани на AI достъпни приложения.

Обучаващите се на жестомимичен език могат да получат достъп до подбраната библиотека от ASL ​​знаци на платформата, за да разширят речника си с 3D-аватар, демонстриращ знаците, както и да използват инструмент, базиран на AI, който анализира видео от уеб-камера, за да предостави обратна връзка в реално време. Жестоговорящите хора от всички нива могат да допринесат за развитието на платформата, като показват жестове при конкретни думи, за да помогнат за създаването на набор видео материали с отворен код за ASL.

Наборът от данни, който Nvidia планира да разшири до 400 000 видеоклипа, представляващи 1000 жеста, се преглежда от опитни потребители на езика на знаците и преводачи, за да се гарантира точността на всеки жест. Резултатът е висококачествен визуален речник и инструмент за обучение.

„Повечето глухи деца се раждат от чуващи родители. Предоставяйки на семействата достъпни инструменти като Signs за ранно изучаване на езика на жестовете позволява ефективно общуване с деца на възраст от шест до осем месеца“ — казва в изявление Чери Даулинг, изпълнителен директор на Американското дружество на глухите деца. „Знаейки, че професионалните учители по жестомимичен език са прегледали целия речник на платформата, означава, че потребителите могат да имат доверие в това, което учат.“

Екипите на Nvidia планират да използват този набор от данни за по-нататъшното разработване на AI-приложения, които преодоляват комуникационните бариери между глухите и чуващите общности. Планира се данните да бъдат предоставени на обществеността като ресурс за създаване на достъпни технологии, включително и агенти с изкуствен интелект, цифрови приложения за хора и инструменти за видеоконференции. Това може да се използва и за подобряване на означения и предоставяне на ASL платформи в цялата екосистема с поддръжка в реално време и обратна връзка с помощта на AI.

Независимо дали сте начинаещ или експерт, доброволците могат да записват своите жестове, за да допринесат за набора от данни за ASL.

Във фазата на събиране на данни Signs вече предоставя мощна платформа за изучаване на езика на жестовете, като предлага на хората възможността да научат и практикуват първоначален набор от 100 знака, така че да могат да общуват по-ефективно с приятели или членове на семейството, които използват езика на жестовете.

„Платформата за изучаване на езика на знаците може да помогне на семействата с глухи деца бързо да намерят точната дума и да видят как да направят съответния знак. Това е инструмент, който може да им помогне да използват езика на знаците ежедневно извън официалните занятия“ — казва Даулинг. „Виждам, че и децата, и родителите вече го изучават.“

Докато знаците в момента се фокусират върху движенията на ръцете и позициите на пръстите за всеки знак, ASL включва също изражения на лицето и движения на главата, за да се предаде значение. Екипът зад Signs проучва как тези неръчно предавани сигнали могат да бъдат проследявани и интегрирани в бъдещите версии на платформата.

Те също така проучват как други нюанси, като регионални различия и жаргонни изрази, могат да бъдат представени в Signs, за да обогатят базата данни на ASL, и си сътрудничат с изследователи от Центъра за достъпност и включване Rochester Institute of Technology, за да оценят и подобрят потребителското изживяване на платформата Signs за глухи и хора с увреден слух.

„Подобряването на достъпността на езика на жестовете е непрекъснат процес“ — казва Андерс Йесен, партньор-основател на Hello Monday/DEPT, който създаде уеб-платформата Signs и преди това работи с Американското общество на глухите деца върху приложението Fingerspelling.xyz, което обучаваше потребителите на азбуката на езика на знаците. „Знаците могат да задоволят нуждата от усъвършенствани AI инструменти, които помагат за преодоляване на комуникационните бариери между общностите на глухите и чуващите.“

Наборът от данни, стоящ в основата на Signs, е планирано да бъде пуснат по-късно тази година.