ИИ без интернет ето как да стартирате мощна невронна мрежа директно на своя компютър

Новият модел на OpenAI може да погълне цялата ви оперативна памет.

Тази седмица OpenAI представи дългоочаквания си езиков модел с отворен код gpt-oss. Основното му предимство е възможността да го стартирате локално на собствения си компютър, включително на Mac с процесорите Apple Silicon. Ето как работи той и какво да очаквате.

Моделът се предлага в два варианта: gpt-oss-20b и gpt-oss-120b. Първият вариант е модел със „средна“ мощност, който може да бъде стартиран на Mac компютрите от най-висок клас, ако те разполагат с достатъчно ресурси. Вторият е „тежък“ модел, който изисква много по-сериозен хардуер. Очаква се, че по-малкият вариант ще „халюцинира“ по-често – т.е. ще си измисля факти – тъй като разполага с по-малък набор от данни за обучение. Но пък той е по-бърз и действително работи на оникновените домашни компютри.

Дори в опростената си версия gpt-oss е интересен инструмент за всеки, който иска да опита да стартира голям езиков модел на своя лаптоп. Трябва още веднъж да се наблегне, че за разлика от обичайния ChatGPT този модел работи без интернет връзка и по подразбиране не притежава много от „функциите“ на усъвършенстваните чатботове. Така например той не проверява отговорите чрез търсачките, което забележимо увеличава риска от грешки.

OpenAI препоръчва минимум 16 GB оперативна памет, за да стартирате gpt-oss-20b, но в действителност това е по-скоро долната граница, колкото да видите как работят нещата. Нищо чудно, че Apple наскоро спря да продава Mac компютри с 8GB RAM – ИИ все повече се превръща в обичайна работа за компютрите.

Започването на работата е лесно. Първо трябва да инсталирате приложението Ollama – то е това, което ви дава възможност да управлявате модела. Можете да го изтеглите на адрес ollama.com/download . След това отворете „Терминала“ и въведете командите:

ollama pull gpt-oss:20b

ollama run gpt-oss:20b

Моделът ще заеме около 15 GB дисково пространство. След като бъде зареден, той може да бъде избран в интерфейса на Ollama. Ако желаете, можете да активирате „самолетен режим“ в настройките, за да гарантирате изцяло локална работа – не се изисква интернет или регистрация.

Оттам нататък всичко е просто: въведете някоя заявка и наблюдавайте резултата. Но не забравяйте, че моделът използва всички налични ресурси – и вашият Mac може значително да се забави. На MacBook Air с чип M4 и 16 GB памет например са необходими повече от пет минути, за да се отговори на „Здравей“. Запитването „кой е бил 13-ият президент на САЩ“ отне около 43 минути. Така че, ако планирате да използвате сериозно модела, 16 GB са меко казано малко.

Ако моделът вече не ви е необходим и искате да освободите място на диска, използвайте командата:

ollama rm gpt-oss:20b

Можете да намерите повече информация в официалния уеб сайт на Ollama или да изпробвате алтернативното приложение за macOS, LM Studio.