Китайският стартъп Baichuan Intelligen даде достъп до изкуствен интелект с 13 милиарда параметри

През месец февруари основателят на Sogou Уан Сяочуан заяви във Weibo, че „Китай се нуждае от своя собствена OpenAI„. Китайският предприемач вече е близо до целта си, тъй като неговият стартъп Baichuan Intelligence пусна в публичното пространство големия езиков модел с изкуствен интелект Baichuan-13B. Моделът има 13 милиарда параметри и е обучен на 1,4 трилиона токена. В същото време създателите са взели предвид санкциите, наложени от САЩ – моделът може да се изпълнява на системи с компоненти от потребителски клас.

Baichuan се смята за един от най-обещаващите разработчици на големи езикови модели (LLM) в Китай, тъй като основателят на компанията е възпитаник на университета Синхуа, основал услугата за търсене Sogou, която по-късно бе погълната от местния технологичен гигант Tencent. Уанг напуска Sogou в края на 2021 г. След огромния успех на ChatGPT, предприемачът стартира Baichuan през април и бързо си осигури финансиране от 50 млн. долара от група бизнес ангели.

Подобно на другите модели на китайски език Baichuan се базира на архитектурата Transformer (която е в основата и на GPT) и има 13 милиарда параметри – променливи, които се използват при генерирането на текст. Моделът е обучен с помощта на китайски и английски данни. Според страницата в GitHub моделът е с отворен код и е оптимизиран за търговска употреба.

Базовият модел на Baichuan-13B е достъпен безплатно за учени и разработчици, които са получили официално разрешение да го използват и за търговски цели. Създателите са взели предвид санкциите, наложени от Съединените щати, и моделът може да се използва на системи с компоненти от потребителски клас, включително видеокартите NVIDIA GeForce RTX 3090.