Китай представи най-мощната в света невронна мрежа Wu Dao с 1,75 трилиона параметри

Учените от академията на науките в Пекин, работещи в областта на изкуствения интелект, представиха своята собствена генеративна невронна мрежа с обратна връзка и дълбоко машинно обучение Wu Dao, която е директен конкурент и дори превъзхожда GPT-3 на OpenAI.

Китайската невронна мрежа разполага с 1,75 трилиона параметъра и по този начин Wu Dao 2.0 е около 10 пъти по-мощна в сравнение с GPT-3 (175 милиарда). Новият изкуствен интелект е обучен на китайски и английски език с помощта на 4,9 TB информация, включваща изображения и текстове.

Втората версия Wu Dao 2.0 излезе само четири месеца след представената през месец март първа версия. Изследователите на BAAI първоначално разработиха специализираната система за обучение FastMoE с отворен код, която прилича на Google Mixture of Experts. Тя се базира на PyTorch и дава възможност за обучаване на изкуствения интелект както с помощта на клъстъри от суперкомпютри, така и с обикновени графични процесори. Това дава на FastMoE много по-голяма гъвкавост в сравнение със системите на Google, понеже FastMoE не изисква фирмено оборудване, каквото са например специализираните процесори TPU на Google.

За разлика от повечето невронни мрежи с дълбоко машинно обучение, които изпълняват една единствена задача – например, генерират текст или създават дийпфейкове, или разпознават лица – Wu Dao е мултимодална система.

Китайските учени демонстрираха способността на новия изкуствен интелект да извършва сложна обработка на естествения човешки език, да генерира текст, да разпознава изображения и да създава изображения. Новата невронна мрежа може не само да пише есета, стихове и двустишия на китайски език, но и да генерира разнообразен и алтернативен текст от статични изображения и да създава почти фотореалистични изображения, които са описани на естествен език. И още, Wu Dao показа отличните си способности да предсказва триизмерните структури на протеините, като например AlphaFold.

Създателите на китайския ИИ отбелязват, че на невронната мрежа са необходими съвсем малко нови данни при подаване на нова задача. Тън Цзе, който е заместник-директор на BAAI по академичните въпроси, заяви пред медиите, че новият ИИ ще даде възможност за създаването на мислещи машини.

С новия изкуствен интелект вече работят 22 партньора, включително Xiaomi, куриерската компания Meituan и социалната мрежа за скъси видеа Kuaishou.

Да напомним, че за да може да пише текстове, ИИ GPT-3 е обучен с помощта на 570 GB текст. Тази невронна мрежа бе представена през месец май 2020 година. GPT-3 може да отговаря на въпроси записани във вид на текст, да пише стихове, да разгадава анаграми и да превежда от един език на друг. На този изкуствен интелект е достатъчно да се покажат от 10 до 100 примера, за да може да започне да извършва съответното действие.