FlexGen е енджин за стартиране на ИИ ботове подобни на ChatGPT, но на компютри с един GPU

Екип изследователи от Станфордския университет, Калифорнийския университет в Бъркли, Швейцарския федерален технологичен институт в Цюрих, Висшето училище по икономика, Университета Карнеги Мелън, както и Meta публикуваха изходния код на енджина FlexGen  за работа с големи езикови модели в системи с ограничени ресурси. Новият енджин дава възможност на разработчиците да създават функционалност, подобна на ChatGPT и Copilot, като стартират тренирания модел OPT-175B, обхващащ 175 милиарда параметъра, на стандартен геймърски компютър с NVIDIA RTX3090 и 24 GB видеопамет. Кодът е написан на Python, използва се фреймуърка PyTorch и се разпространява под лиценза Apache 2.0.

Включен е примерен скрипт за създаване на бот, който ви позволява да заредите един от публично достъпните езикови модели и веднага да започнете да общувате (напр. чрез изпълнение на командата „python apps/chatbot.py –model facebook/opt-30b – -percent 0 100 100 0 100 0„). За базов модел се предлага големият езиков модел, публикуван от Facebook, обучен върху колекциите BookCorpus (10 000 книги), CC-Stories, Pile (OpenSubtitles, Wikipedia, DM Mathematics, HackerNews и т.н.), Pushshift.io (базиран на данни от Reddit) и CCNewsV2 (архив с новини). Моделът обхваща около 180 милиарда токена (800 GB данни). За обучението на модела е използван 33-дневен клъстер с 992 графични процесора NVIDIA A100 80 GB.

При работата на OPT-175B с една  графична карта NVIDIA T4 (16 GB) енджинът FlexGen превъзхожда по производителност предишните решения с до 100 пъти, което прави големите езикови модели по-достъпни за работа на компютърни системи без специализирани ускорители. В същото време FlexGen може да се мащабира, за да паралелизира изчисленията при наличието на няколко графични процесора. Освен това за намаляване размера на модела се използва собствена схема за компресиране на параметрите и механизъм за кеширане на модела.