AMD представи AMD OLMo, своя първи 1В-параметричен LLM

AMD представи първата си серия от големи езикови модели (LLM) с напълно отворен код и 1 милиард параметъра, озаглавена AMD OLMo, която е ориентирана към различни приложения и е предварително обучена на графичните процесори Instinct MI250 на компанията. Счита се, че LLM предлагат добри възможности за разсъждение, следване на инструкции и чат.

LLM-ите с отворен код на AMD имат за цел да подобрят позицията на компанията в ИИ сектора и да дадат възможност на нейните клиенти (и на всички останали) да внедряват тези модели с отворен код с хардуера на AMD. Чрез предоставянето на отворен достъп до данните, теглата, инструкциите за обучение и кода AMD цели да даде възможност на разработчиците не само да възпроизвеждат моделите, но и да ги надграждат за по-нататъшни иновации. Освен използването в центровете за данни, AMD даде възможност за локално разгръщане на моделите OLMo на персонални компютри с AMD Ryzen AI, оборудвани с невронни процесори (NPU), което позволява на разработчиците да използват моделите на AI на персоналните устройства.

Различните модели на AMD OLMo са обучени на огромен набор от данни от 1,3 трилиона токена с помощта на 16 хардуерни възела, всеки от които разполага с четири графични процесора AMD Instinct MI250 (общо 64 процесора).

Освен това AMD проведе тестове с помощта на специалните бенчмаркове за изкуствен интелект, като ToxiGen (който измерва токсичния език, при който по-ниският резултат е по-добър), crows_pairs (оценка на пристрастността) и TruthfulQA-mc2 (оценка на истинността на отговорите). Установено е, че моделите AMD OLMo са на едно ниво с другите подобни модели.