Ютюбър създаде клъстер от пет Apple Mac mini M4s – колко ефективен е?

Видео блогър демонстрира изчислителен клъстер, направен от новия Apple Mac mini на базата на M4 процесор. Понякога това е по-добре от мощна видеокарта.

Много хора смятат, че получаването на по-мощен компютър означава закупуване на едно скъпо устройство. Но има и други начини за извършване на големи количества изчисления. Концепцията за клъстери позволява използването на много компютри или поне изчислителни единици. Съвместната работа за паралелно изпълнение на задачи води до значително намаляване на времето за обработка.

Във видеоклип в YouTube ентусиастът Алекс Зискинд (Alex Ziskind) демонстрира как се настройва клъстерно изчисление с помощта на пет M4 Mac mini. Клъстерът получава задачи, които се разпределят между всички машини. Типичните малки клъстери разчитат на Ethernet мрежа за комуникация между възлите, но Ютюбърът използва потенциала на Thunderbolt връзката с Thunderbolt Bridge. Това значително ускорява комуникацията между възлите и също така позволява изпращането на по-големи пакети от данни.

Ethernet може да работи със скорости от 1 Gbps при нормални условия или до 10 Gbps, ако имате подходящите компютри, които поддържат тази скорост. Но Thunderbolt Bridge достига скорости до 40 Gbps за Thunderbolt 4 портовете или 80 Gbps за Thunderbolt 5 в двупосочен режим при моделите с чиповете M4 Pro и M4 Max.

Зискинд отбелязва, че използването на Apple Silicon за клъстерни изчисления може да бъде по-изгодно от компютър с мощна графична карта. GPU обработката зависи от значителното количество налична видео памет. На графична карта това може да бъде например 8 GB, което не е толкова много, дори и за игри. Използването на обединена памет на Apple Silicon обаче прави конфигурацията по-малко ограничителна и позволява по-големи капацитети — всъщност графичният процесор Apple Silicon има достъп до много повече памет, особено в случай на Mac с 32 GB RAM.

Освен това видеокартите консумират много енергия. Значителното потребление означава по-високи текущи оперативни разходи. Оказа се, че компютрите Mac mini консумират много малко — клъстер от пет компютъра Mac mini консумира по-малко от една високопроизводителна графична карта.

За да управлява клъстера, Алекс Зискинд използва MLX — проект на Apple с отворен код, описан като „структура на масив, предназначена за ефективно и гъвкаво изследване на машинното обучение на Apple Silicon“. MLX използва за работата си стандартната методология за разпределение на изчисленията MPI. Като част от проекта можете да управлявате няколко Mac компютъра с различна производителност без значителни хардуерни разходи. Освен всичко друго, MLX е оптимизиран за малки клъстери.

Ефективно, но не винаги

Докато клъстерирането на производителността на множество Mac mini в клъстер звучи привлекателно, не всяка задача ще се възползва от това. На практика няма предимства за нормална употреба на Mac — стартиране на приложения, игра на игри и т.н. Технологията е предназначена за обработка на големи количества данни или за задачи с висока интензивност, които се възползват от паралелната обработка. Това прави клъстера идеален за работа с изкуствен интелект и по-специално с езикови модели (LLM).

Това също не е най-лесният начин за използване на компютър за средния потребител на Mac. По време на тестовете Зискинд е установил, че закупуването на Mac с M4 Pro осигурява по-голяма LLM производителност от два M4 компютъра в клъстер. Такъв клъстер може да бъде полезен, когато имате нужда от повече производителност, отколкото можете да получите от един мощен Mac. Ако моделът е твърде голям, за да работи на един Mac, например поради ограничения на паметта, клъстерът може да предложи повече.