AMD представи Gaia – софтуер с отворен код за локално стартиране на ИИ на компютри с Windows

Локалното изпълнение на големи езикови модели на персонални компютри е подход, който става все по-популярен. За да се справи с тази задача, AMD пусна Gaia – програма с отворен код, предназначена за локално стартиране на ИИ-модели на персонални компютри с Windows.

Gaia предлага допълнителна оптимизация на производителността за машини с процесори Ryzen AI, а стартирането на ИИ се извършва с помощта на инструментите Lemonade SDK.

Софтуерът позволява ИИ-моделите да бъдат адаптирани за различни цели: те могат да изготвят резюмета на големи текстове или да се справят със сложни задачи, които изискват умения за разсъждение. Gaia работи чрез компонента Retrieval-Augmented Generation (RAG), който комбинира ИИ с база от знания, така че потребителят да получава по-точни отговори на заявките си в зависимост от контекста.

RAG включва четири агента:

• Simple Prompt Completion – осигурява пряко взаимодействие с модела, предназначен за тестване и оценка.
• Chaty – отговаря за интерфейса на чатбота.
• Clip – извършва търсене в YouTube с функция за въпроси и отговори.
• Joker – генерира шеги и добавя индивидуалност към чатбота.

Gaia решава специализирани проблеми на изкуствения интелект с помощта на Lemonade SDK, като работи в различни среди за изпълнение. Lemonade отваря уеб услуга за езиковия модел и взаимодейства с приложението Gaia чрез съвместим с OpenAI REST API. Приложението действа като агент на ИИ, който извлича и обработва данни, „векторизира“ външно съдържание (напр. данни от GitHub, YouTube и текстови файлове) и го съхранява в локален векторен индекс. Казано по-просто, Gaia подобрява заявките на потребителите, преди те да бъдат обработени от модела на ИИ, като подобрява точността и релевантността на отговорите.

Хибриден инсталатор, оптимизиран за системи с процесори Ryzen, който позволява на Gaia да използва вградения невронен процесор (NPU) и интегрираната графика на Ryzen AI за изчисления. Локалното стартиране на моделите на изкуствения интелект има няколко предимства пред облачните услуги: данните остават защитени, латентността е намалена, а в някои случаи производителността е подобрена. Освен това локалните модели не изискват интернет връзка.