Foxconn представи своя първи ИИ модел FoxBrain

Тайванската компания Foxconn, която е известна като най-големия производител на компютърни устройства, представи своя първи голям езиков модел на традиционен китайски език с функция за дълбок логически анализ. Моделът носи името FoxBrain и е разработен само за 4 седмици. Компанията възнамерява в бъдеще да го направи с отворен код и публично достъпен.

FoxBrain е изграден на базата на архитектурата Meta Llama 3.1 и има 70 милиарда параметъра. Той превъзхожда съществуващите аналози от същия мащаб, в частност модела Taiwan-Llama-70B. Новият FoxBrain показва особено високи резултати в тестовете по математика и логическо мислене, като максимално отчита особеностите на тайванската версия на китайския език.

В процеса на обучение са използвани 120 графични процесора NVIDIA H100 и високоскоростната мрежа NVIDIA Quantum-2 InfiniBand. Целият процес е отнел приблизително четири седмици и е изисквал 2688 изчислителни дни за графичните процесори. Оптимизираният подход за обучение е довел до значително намаляване на разходите и повишаване на ефективността.

Според д-р Юн- Хуей Лий, директор на Изследователския център за изкуствен интелект на института Hon Hai, основният акцент на разработката е поставен върху оптимизирането на процеса на обучение, а не върху увеличаването на изчислителната мощност. FoxBrain използва специална техника, наречена Adaptive Reasoning Reflection, която обучава модела самостоятелно да извършва логически разсъждения и да намира решения на сложните проблеми.

FoxBrain е обучен върху уникален набор от данни, състоящ се от 98 милиарда лексеми от висококачествен китайски текст. Контекстният прозорец на модела може да побере 128 хиляди лексеми. Според тестовете, базирани на TMMLU+, моделът показва значителни подобрения спрямо базовия модел Meta Llama 3.1 и дори се доближава до световните лидери в областта на логическото мислене като DeepSeek.

FoxBrain е разработен за вътрешните задачи на Foxconn, включително анализ на данни, подпомагане на вземането на решения, съвместна работа с документи, решаване на математически задачи и генериране на софтуерни кодове. Компанията обаче вече обяви намеренията си да си сътрудничи с други разработчици и технологични партньори. В бъдеще моделът ще бъде с отворен код и се планира възможностите му да бъдат разширени до производството, управлението на веригата за доставки и вземането на решения на базата на изкуствен интелект.

NVIDIA подкрепи разработката на FoxBrain, като предостави капацитета на суперкомпютъра Taipei-1 и техническа експертиза. Новият модел ще бъде част от цялостната технологична модернизация на трите ключови области на фокус на Foxconn: интелигентното производство, интелигентния електрически транспорт и интелигентните градове.

FoxBrain ще бъде официално представен на конференцията GTC 2025 на NVIDIA на 20-ти март, като част от презентация, посветена на новите възможности и развитието на основните модели на изкуствения интелект.