Големите езикови модели на изкуствения интелект изискват значителни ресурси не само за обучение, но и за стартиране – необходими са значителни количества оперативна памет и мощни графични процесори. Алтернатива беше предложена от създателите на Exo, безплатна програма за разпределено стартиране на големи езикови модели (LLM) на множество устройства. Почти като случая с торентите, само че за стартиране на ИИ.
Приложението позволява да се комбинират изчислителните ресурси на няколко компютъра, смартфони и дори едноплаткови компютри, включително Raspberry Pi, за да се изпълняват ИИ-модели, с които нито една от системите, с които разполага потребителят не би могла да се справи сама. Ресурсите на устройствата се обединяват в мрежа от типа peer-to-peer.
Exo динамично разпределя натоварването, генерирано от LLM между наличните в мрежата устройства, като разполага слоевете си въз основа на наличната оперативна памет и наличната изчислителна мощност. Поддържат се ИИ-модели LLaMA, Mistral, LlaVA, Qwen и DeepSeek. Софтуерът може да се инсталира на устройства с Linux, macOS, Android или iOS – все още няма версия за Windows. Exo изисква минимална версия на Python 3.12.0 и в случай на машини с Linux и графика Nvidia, редица други компоненти.
Пример: ИИ-модел, който се нуждае от 16 GB оперативна памет може да бъде стартиран на два лаптопа с по 8 GB, а мощният DeepSeek R1, който се нуждае от 1,3 TB памет, теоретично може да бъде стартиран на клъстер от 170 Raspberry Pi 5 с 8 GB RAM. Скоростта и латентността на мрежата могат да влошат производителността на ИИ-модела и разработчиците на Exo предупреждават, че устройствата с ниска производителност могат да забавят работата на ИИ, но с всяко добавено към мрежата устройство общата производителност се увеличава. Не бива да забравяме и рисковете за сигурността, които неизбежно възникват, когато работните натоварвания се споделят между множество машини. Дори с тези уговорки Exo изглежда обещаваща алтернатива на облачните ресурси.
Всичко важно от света на технологиите, директно в пощата ти.
С абонирането приемате нашите Условия и Политика за поверителност. Може да се отпишете с един клик по всяко време.
Коментирайте статията в нашите Форуми. За да научите първи най-важното, харесайте страницата ни във Facebook, и ни последвайте в Google Новини, TikTok, Telegram и Viber или изтеглете приложението на Kaldata.com за Android, iPhone, Huawei, Google Chrome, Microsoft Edge и Opera!
