Второто пришествие на мейнфрейма. Все повече компании искат да използват изкуствен интелект в своите офиси

ИИ приложенията намират своето място в бизнеса. Но има проблем: корпоративните данни и документация са търговска тайна. Те не могат да бъдат възлагани на външни изпълнители, особено на система за машинно обучение, базирана в облака. Не само че самото прехвърляне е опасно, но публичният модел ще се започне да се обучава от нашите тайни и след това ще помага на конкуренцията.

Като цяло на търговските компании остава само една възможност: да използват собствен сървър или изчислителен клъстер с ИИ. По този начин от ерата на облачните изчисления се връщаме към доброто старо самостоятелно хостване, само че сега става въпрос за самостоятелно хостване на графични процесори, сървъри и мейнфреймове.

Междувременно пазарът на центрове за данни също преживява второ възраждане, като считано от 2022 г. броят на въведените в експлоатация центрове за данни се удвои. Стартират и нови облаци, специално за изчисления с изкуствен интелект. В същото време нараства и търсенето на „частни“ мейнфреймове, които можете да инсталирате на собствен хостинг, дори в офиса си. Както и за домашни изчислителни клъстери.

Така например интернет стартъпът Gumlet, който предоставя услуги за хостинг, стрийминг и редактиране на снимки и видеоклипове, напусна облака и изгради свой собствен GPU клъстер за транскодиране на видео (снимките все още се обработват от CPU), с което спести хиляди долари.

За сравнение, един сървър (AMD 5700x, 64GB DDR4, 512GB NVMe SSD, графичен процесор Nvidia RTX4000 ADA SFF) струва $2300, а наемането на такъв сървър в AWS струва $703 на месец.

Много други компании също спестиха милиони долари, когато преминаха от облака към самостоятелно хостване.

Частните мейнфреймове

По последни данни много компании и без какъвто и да било ИИ са разчитали на собствените си частни центрове за данни и мейнфреймове. Те все още не са преминали към облака: това са почти всички банки, големи застрахователни, финансови, телекомуникационни и авиокомпании. Сега те станаха първите клиенти на специализираните ИИ мейнфреймове, за да ги добавят към собствените си хардуерни паркове.

За някои клиенти преминаването към облака изобщо не е опция, ако скоростта на транзакциите е от решаващо значение за тях – когато всяка милисекунда е от значение. Така например банките откриват фалшивите трансакции за милисекунди в реално време. Или пък компания за високочестотна търговия, за която разликата в милисекундата във времето за покупка или продажба на борсата създава разликата между печалбата и загубата.

Високочестотните трейдъри дори разполагат своите центрове за данни физически възможно най-близо до центъра за данни на борсата и прокарват възможно най-къси оптични кабели, тъй като скоростта на светлината има голямо значение.

От гледна точка на производителността за всички е очевидно, че е по-ефективно да се постави ИИ системата там, където са данните, вместо да се копират данните в един отдалечен център за данни, където се намира ИИ. Ето защо и производителите напоследък отбелязват ръст в продажбите. Според IBM продажбите на мейнфреймове до края на 2024 г. ще нараснат с 6% спрямо предишната година.

Статистиката на IDC показва, че през 2022 г. около 55% от корпоративните данни са съхранявани в публични облаци, а до 2027 г. този дял ще нарасне до 71%. Но търсенето на самостоятелно хостване никога няма да изчезне, докато проблемите със сигурността и производителността остават актуални. Освен това разликата между частните центрове за данни и публичните облаци постепенно се размива: те стават сходни помежду си по отношение на хардуерната архитектура и софтуера.

Новият хардуер

За гореспоменатата система z16 IBM пусна новите процесори Telum II за мейнфреймовете IBM z16 AI. Както бе отбелязано, този процесор и новите мейнфреймове могат да работят с всеки съвременен LLM, например с ChatGPT.

Telum II не прилича на никой друг сървърен процесор. Той има само осем ядра, но те работят на висока честота – 5,5 GHz, и разполагат с 360 MB кеш памет в чипа. Също така в чипа има DPU за ускоряване на входно-изходните операции и интегриран ускорител на изкуствения интелект. Telum II се произвежда по 5nm технологичен процес на Samsung.

В производителността на системата важна роля играят скоростта и обемът на кеша. Тук IBM е използвала необичайно решение, като е поставила върху кристала цели десет L2 модула от по 36 MB всеки, с общ обем 360 MB. За сравнение, L3 кешът в настолните и сървърните процесори Zen 3 на AMD обикновено е 32 MB.

Осемте L2 кеша на Telum II са свързани с ядрата, още един – с DPU, а последният, десетият, не е свързан с нищо.

Друга интересна подробност е, че отделните L2 кешове на този чип съвместно образуват „виртуален L3 кеш“). Според патента на IBM всеки L2 има „метрика на насищане“ в зависимост от това колко често ядрото записва данни там. Когато L2 изхвърли кеш-линия, за да освободи място за постъпващите данни, тази изхвърлена линия отива в друг L2 с по-ниска метрика на насищане.

Системата на обединения пул от виртуална памет функционира не само в рамките на чипа, но и на целия мейнфрейм. По този начин виртуалният L4 кеш е организиран на базата на L3 кеша в CPC (Central Processor Complex) за z16.

Интересна подробност: с тази система IBM предлага дори асистента за програмиране с изкуствен интелект WatsonX (аналог на Github Copilot и други), който наред с другите неща ще помогне на клиента например да пренапише кодовата база от Cobol на Java.

IBM z16 е система с 40 TB памет, специализирани процесори за изкуствен интелект и цена до 1 млн. долара. Основният компютър тежи около 820 кг, когато е напълно сглобен.

IBM е най-големият производител на мейнфреймове в света с пазарен дял от над 96%. Конкурентите NEC, Fujitsu и Hitachi са далеч назад. Според статистически данни на IBM 90% от най-големите банки и 80% от най-големите авиокомпании все още използват мейнфреймове като своя основна платформа. Световният пазар на такива системи през 2023 г. се оценява на 3,05 млрд. долара.

В близко бъдеще на този пазар явно предстоят промени: все повече компании проявяват интерес към използването на модели с изкуствен интелект и искат да го правят на собствен хардуер и самостоятелно хостване. Тук има много възможности: м огат да се споменат например локалните облачни сървъри на 0xide, които, въпреки че работят в облака, са инсталирани на място в офиса на клиента.

Microsoft и Meta наскоро представиха нова сървърна архитектура, наречена Mount Diablo, предназначена за ИИ изчисления, при която стелажите със захранващи устройства са отделени от изчислителните блокове.

В традиционните компютърни системи плътността на мощността в една стойка обикновено е по-малка от 20 kW, но в системите с изкуствен интелект тя нараства до стотици kW. За да се адаптират към тези промени, се налага да се оптимизират всички нива на инфраструктурата. В този случай разделянето на един стелаж на сървърни и захранващи стелажи, всеки от които е оптимизиран за основната си функция. Това прави възможно, наред с другите неща, да се поберат 35% повече ускорители на изкуствен интелект в един стелаж.

Домашният сървър

Съвременните сървъри могат да бъдат инсталирани не само в сървърни помещения в офиса, но и у дома. Някои производители дори предлагат да изградят интериора под формата на сървърни шкафове. В такъв интериор компютърният хардуер ще изглежда съвсем естествено сред чекмеджета, обувки и дрехи:

Тези стелажи донякъде напомнят на модулната система от рафтове или на известния LackRack – сървърен стелаж, направен от маса на Ikea:

Оказва се, че по щастливо стечение на обстоятелствата размерите на тези маси напълно съвпадат с размерите на стандартните сървърни модули.

Съществуват AnythingLLM, llamafile, Ollama, GPT4All и други десктоп среди за локално стартиране на ИИ на вашия компютър.

Llama 3.3 70B работи на MacBook с 64 GB RAM. И това е най-новият модел от клас GPT-4.

Като цяло създаването на собствен компютърен клъстер за ИИ изчисления във вашата компания е съвсем реалистична задача. Най-малките LLM работят дори на лаптопи. Така например има агент за автоматично допълване на сорс кода Twinny, плъгин за Visual Studio Code, аналог на GitHub Copilot, но само че е напълно локален и 100% частен.

Ето и други системи за изкуствен интелект, разработени специално за самостоятелно хостване:

• Khoj,
• LocalAI,
• llama.cpp,
• … вижте също общността /r/LocalLLaMA/.

Всичко това може да се инсталира на домашен сървър.

Изкуственият интелект и въпросът за доверието

Въпросът за доверието към ИИ остава отворен: до каква степен можем да вярваме, че даден ИИ агент действа в наш интерес, а не в свой собствен? Например анализите на сигурността на ИИ момичетата показват тревожни признаци: установено е, че момичетата събират лична информация за момчетата и я изпращат на отдалечен сървър. Забелязани са и случаи на саботиране на софтуерен код от страна на ИИ асистенти.

Вече е доказано, че ИИ лъже по-убедително от хората. А човечеството вече има сериозни проблеми с това: нивото на доверие в обществото към всички институции е спаднало до абсолютен минимум, а това оскъпява социалните транзакции и пречи на икономическото развитие.

Повсеместното използване на LLM може да влоши положението.

Дийпфейковете и дезинформацията вече са нещо обичайно. ИИ също така отваря вратата към още по- масово следене и наблюдение.

Понастоящем учените проучват как се променя човешкото поведение при наличието на вездесъщите ИИ асистенти. Наблюдават се някои интересни ефекти. Така например в един експеримент на играчи хора е предложена онлайн игра, в която те трябва да намерят и кликнат върху цел, за да задействат анимация, докато всъщност алгоритъмът задейства анимацията, преди играчът да кликне. Анимацията се базира на историята на миналите движения на играчите и началото на текущото движение на ръката им. Учените са използвали моделиране с машинно обучение, за да определят по какъв начин геймърите изчисляват усещането си за власт над анимацията. И в крайна сметка установили, че за по-малко от час играчите са се адаптирали към новото усещане, че всъщност контролират анимацията, въпреки че тази анимация се появява преди натискането на бутона.

Учените смятат, че резултатите от това изследване ще помогнат за адаптирането на ИИ системите към човешката психика в бъдеще. Алгоритмите ще позволят да се създават такива механики, че хората винаги да запазват чувството за контрол над ситуацията, дори ако действията са предварително програмирани и се случват предварително. Това всъщност е опасно изобретение, особено в определени условия, когато на хората се чувстват по-добре с удобните лъжи, отколкото с горчивата истина. Като че ли човек е предварително програмиран да бъде заблуждаван.

Съществуват методи за обучение на изкуствения интелект да лъже, а в даркнет се продават незаконни версии на LLM, обучени специално за създаване на зловреден код (FraudGPT, WormGPT и др.). Затова въпросът за доверието в ИИ остава отворен.