Конфигурация за render ферма.

[Гост]

Преди да започна темата искам да съобщя, че темата е създадена по скоро за да даде информация относно видовете сървъри (тип на монтаж) за създаването на "render" ферма 

Здравейте, от няколко месеца започнах интензивно да се занимавам с 3d анимация. Използвам програмата Cinema 4D. Направил съм вече няколко кратки анимации (не мисля че съм професионалист или пък специалист). Ако в времето нещата потръгнат и успея да изкарам достатъчно пари обмислям да си направя собствена ферма за обработване на анимациите (знам, че има вариант и да използвам онлайн рендър ферма, като си платя съответно, но излиза доста скъпичко). Засега аз обработвам анимациите предимно сам, но понякога използвам помощта на един приятел, свързваме си компютрите чрез опцията Team Render в програмата и така му използвам компютъра за обработване на анимация (правя го през нощта това). Опцията Team Render си има плюсове и минуси, например като обработваш анимация, а не просто една снимка разделя всичките кадри пропорционално на всички свързани машини (няма значение хардуерната им мощност), и когато спря обработването примерно компютър 1 е направил 20 кадъра от 1-ви до 20-ти, а компютър 2 е направил 30 кадъра от 110-ти до 140-ти и после се налага да ги нагласям и да търся коя машина кое е обработила. Както и да е, да премина към въпроса, който искам да дискутираме. Смятам да направя собствена малка ферма за обработване на анимации, само ако нещата потръгнат и след време изкарам парички , знам, че хардуера се изменя динамично, но тук ще ви попитам за видове сървъри и монтиране. Не ви моля да ми помагате с избор на процесор или видео карта, а с кутия и т.н. Между впрочем програмата използва предимно процесор (не използвам Vray). Днес доста време търсих и това, което намерих е, че най-често се използват така наречените Rack Mount сървъри и се използват предимно за Storage сървъри (имат доста предвидени места за хард дискове).

Link : http://www.newegg.com/Server-Chassis/SubCategory/ID-412

В случая на мен ще ми трябва за обработване, което значи, че едва ли ще използвам box-овото охлаждане, а ще ползвам нещо по-сериозно. Смятам да навържа примерно 3-4 компютъра използвайки Team Render. Как ще е най добре да поставя компютрите. Тоест да използвам Rackmount server case и да ги поставя в Rack Cabinets (може да потърсите в Google за какво точно говоря) или пък ще има някакъв начин да свържа обикновени компютри (тоест в обикновени кутии) в някакъв такъв подобен шкаф. Тоест питам има ли начин да модифицирам обикновена кутия така, че да я вкарам в подобен шкаф или пък просто да използвам кутия предназначена за това (проблема е, че тези, които намерих всичките бяха предназначени за много хард дискове, на мен не ми трябват много, и не остава място за останалия хардуер, като място за охладител и тн.) Най-вероятно ще използвам обикновени кутии, но се чудя в какъв "шкаф" да ги поставя. Ще се радвам да прочета вашите мнения.

Пак да припомня не смятам да купувам сървър сега, просто ми е "интересно" какво ще е най-добре да използвам и струва ли си да давам толкова пари за rack chasis или просто да подредя в един шкаф едни компютри в обикновени кутии.

Айде че темата стана много дълга.

Поздрави !

[sliderum]

Бюджета безлимитен ли е?

[Гост]

Бюджета безлимитен ли е?

Естествено че не

За цялата система, която ще включва 3 компютъра и 1 монитор бих дал до към 4000 лева.

[Янко Влахов]

 

Преди да започна темата ..........

 

Тя темата за сървърсъите е доста разтеглива, но ще се опитам да те насоча малко. 

Така като си го описал за тебе удачен вариант е да ползваш десктоп кутии и в тях каквото решиш защото ако тръгнеш да купуваш шкаф и ракмаунт кутии то с бюджета приключихме още тука. Айде може да остане и за някое захранване. В грешка си за кутиите, откриваш такивас много гнезда за дискове защото този тип сървъри подлежат на конфигуриране. В случаи когато се иска изчислителна мощ се ползват блейдове. Това са сравнително малки шасита с опция за повечко процесори и памет и с малко гнезда за дискове

 

идеята при тях е на минимум пространство да се съберат максимум процесори и памет, НО. Има голямо НО с твоя бюджет не можеш да си мислиш за подобно нещо. Шаситата ориентирани към изчислителна мощ не подлежат на модифициране защото при производството се смятат така че да може да се постигне оптимален въздушен поток в минималното място.

 

Моето виждане е, да се насочиш към асемблирани машинки с евтино дънце, приличен процесор, някаква кутия (все пак да може да се вентилира) рам колкото прецениш и може би по едно малко SSD за ОС. Така може и да спретнеш 4 машинки който да вършат доста работа а ако успееш да работиш толкова, че да не ти стигат то тогава би трябвало да изкарваш колкото за сървъри. 

[Гост]

Тя темата за сървърсъите е доста разтеглива, но ще се опитам да те насоча малко. 

Така като си го описал за тебе удачен вариант е да ползваш десктоп кутии и в тях каквото решиш защото ако тръгнеш да купуваш шкаф и ракмаунт кутии то с бюджета приключихме още тука. Айде може да остане и за някое захранване. В грешка си за кутиите, откриваш такивас много гнезда за дискове защото този тип сървъри подлежат на конфигуриране. В случаи когато се иска изчислителна мощ се ползват блейдове. Това са сравнително малки шасита с опция за повечко процесори и памет и с малко гнезда за дискове

 

идеята при тях е на минимум пространство да се съберат максимум процесори и памет, НО. Има голямо НО с твоя бюджет не можеш да си мислиш за подобно нещо. Шаситата ориентирани към изчислителна мощ не подлежат на модифициране защото при производството се смятат така че да може да се постигне оптимален въздушен поток в минималното място.

 

Моето виждане е, да се насочиш към асемблирани машинки с евтино дънце, приличен процесор, някаква кутия (все пак да може да се вентилира) рам колкото прецениш и може би по едно малко SSD за ОС. Така може и да спретнеш 4 машинки който да вършат доста работа а ако успееш да работиш толкова, че да не ти стигат то тогава би трябвало да изкарваш колкото за сървъри. 

Много ти благодаря, съжалявам за забавения ми отговор, но нямах ток и ми изгоря устройството за интернет, което ми е основното и за телевизия. Сега използам мобилните данни на таблета (които са свършили). Както и да е, надявам се че ще може да се публикува коментара ми. Погледнах за така наречените Blade сървъри и ми се виждат доста скъпи. Само че не можах да намеря да се продават само кутии, май ги продават само готови или пък с дъна. Както и да е, мисля да се спра на обикновени компютърчета с доста добри процесори (аз сега имам Intel core I7 3770, но не е достатъчен за тези мой цели). Ами като му дойде времето ще му мисля. Много ти благодаря за помощта.

[capnemo]

Много ти благодаря, съжалявам за забавения ми отговор, но нямах ток и ми изгоря устройството за интернет, което ми е основното и за телевизия. Сега използам мобилните данни на таблета (които са свършили). Както и да е, надявам се че ще може да се публикува коментара ми. Погледнах за така наречените Blade сървъри и ми се виждат доста скъпи. Само че не можах да намеря да се продават само кутии, май ги продават само готови или пък с дъна. Както и да е, мисля да се спра на обикновени компютърчета с доста добри процесори (аз сега имам Intel core I7 3770, но не е достатъчен за тези мой цели). Ами като му дойде времето ще му мисля. Много ти благодаря за помощта.

Блейдовете не са компютри, които да ползвате самостоятелно. Те искат шаси, което да им осигури захранване, мрежова и друга свързаност. Но преимуществото е че получавате компактен пакет и можете да добавяте нови блейдове с които да разширявате фермата

[Гост]

Блейдовете не са компютри, които да ползвате самостоятелно. Те искат шаси, което да им осигури захранване, мрежова и друга свързаност. Но преимуществото е че получавате компактен пакет и можете да добавяте нови блейдове с които да разширявате фермата

Ами в такъв случай, не мисля, че дори и да имам доста пари ще купувам блейд, защото не знам как ще ги свържа и дали ще работят с програмата. Щом не са компютри, може би като имаш да речем 10 blade-а то се води 1 компютър. В моя случай ще е по добре да навържа обикновени компютри към мрежа. И във връзка за "навързването на компютрите" смятам да използвам offline мрежа, ще използвам вътрешното IP. Това съм го пробвал вече и става, но въпроса ми е рутер ли да използвам или някакъв switch ако имам "примерно" 15-20 компютъра.

[mail123456]

Обикновени кутии в рак ... ще ви трябва доста място. Няма проблем да сложите нормална кутия в рак - легнала на тава. Но няма голям смисъл, защото ще загубите околи 4U за всяка (в най-добрия случай 3U). Направете си сметката колко U рак ще ви трябва за да сложите толкова кутии. Охлаждането на обикновените кутии също така не е пригодено за слагане в рак.

 

Можете да намерите сравнително евтини рак кутии 2U на цена до към 200 лв. Без захранването. Ако ще слагате нормално desktop дъно се ориентирайте именно към 2U, защото можете да сложите нормално ATX захранване в подобна кутия. Имайте предвид, обаче ще ви трябва захранване с перка отзад а не отгоре/отдолу. Освен това обърнете внимание как са разположени слотовете за паметите. Те трябва да са по посока на въздушния поток т.е. отпред назад в рак кутията. Слотовете не трябва да нарушават този поток т.е. не трябва да са перпендикулярни на потока. В разни такива кутии обикновенно можете да сложите 3 или 4 80mm вентилатора зад дисковете и пред дъното. Охлаждането на процесора трябва да се събира в 2U, така че екзотики едва ще можете да набутате. Евтино решение е все пак и си носите последиците от него после

 

Switch ви трябва. 16-24 портов според това, колко PC-та искате да навържете (15-20). Можете да ползвате и повече от един switch разбира се. Не знам за какви трансфери става дума - ако 100Mbit ви вършат работа ОК, ако ли не минавате на гигабитен switch.

[capnemo]

Ами в такъв случай, не мисля, че дори и да имам доста пари ще купувам блейд, защото не знам как ще ги свържа и дали ще работят с програмата. Щом не са компютри, може би като имаш да речем 10 blade-а то се води 1 компютър. В моя случай ще е по добре да навържа обикновени компютри към мрежа. И във връзка за "навързването на компютрите" смятам да използвам offline мрежа, ще използвам вътрешното IP. Това съм го пробвал вече и става, но въпроса ми е рутер ли да използвам или някакъв switch ако имам "примерно" 15-20 компютъра.

Вие не разбрахте. Те са отделни компютри! Но имат общо захранване, мрежи и т.н. (които елементи се намират в блейд шасито). Но това е скъпо решение за домашно ползване

П.П. и не са по-добре от стандартни компютри, защото печелите обем, кабели, захранване и подобни

[Янко Влахов]

Капитана ме изпревари с минута с обяснението за блейдовете, че за тях си трябва специален рак който от своя страна се монтира в сървърен шкаф и дава свързаността на модулите. Предимството на блейдовете е че 20 могат да влязат в едно шаси докато ако са обикновени машини с такива параметри ще ви трябва една стая. То няма нищо обикновено в машина която да поддържа поне два процесора, там само дъното отива към поне 500лв а и с памет кутия и т.н грубо поне 2000лв на бройка. Фирмите които се занимават с обработка на видео имат по няколко работни станции който хем се използват за работа хем нощно време точно с тоя шер рендер се ползват като ферма освен сървърите който имат. Така или иначе хардуера е набичен и е желателно да се натоварва колкото е възможно повече за да се възвърне по-бързо инвестицията. Познати минали по вашия път правеха точно това взимаха си няколко машини с Q6600 когато беше актуален на едната работят, а другите ползваха за подпомагане на рендера. Сегмента не е толкова голям, че да има тясно специализирани колеги който да ви предложат готово решение. Да има няколко фирми който са ориентирани към сървърите(persy, adsys), но ако вие не сте на ясно какво точно ви трябва ще е трудно. Правил съм машини за фирми занимаващи се с видеоедитинг, 3D mapping или визуализации но обикновено изпълнявам това което поискат, тоест те са наясно горе долу от какво имат нужда.

[capnemo]

Капитана ме изпревари с минута с обяснението за блейдовете, че за тях си трябва специален рак който от своя страна се монтира в сървърен шкаф и дава свързаността на модулите. Предимството на блейдовете е че 20 могат да влязат в едно шаси докато ако са обикновени машини с такива параметри ще ви трябва една стая. ...

Само да уточня че в зависимост от модела и шасито обикновено бройката в едно шаси е между 6 и 14

П.П. Но пак говорим за доста мощни (от сървърна гледна точка) машини

[sliderum]

Явно е проблем на автора да се ориентира от към хардуерната страна, затова който е наясно, просто да му даде готово предложение, което да се покрива в най-доброто съотношение с изиксванията, доколкото го позволява представеният бюджет.

[Гост]

Много ви благодаря за помощта, която ми оказвате, но не ми давайте примерни конфигурации. Както казах още в първия си коментар като създадох темата е, че тя е предимно да запознае мен и други (ако има и други, които се интересуват от това) относно видовете сървъри за render ферма. В момента аз нямам толкова пари та да правя ферма, пък и сравнително от скоро започнах да се занимавам с 3d анимация, все още не съм изкарал "милионите" от правенето на 3d анимация, така че все още няма да правя ферма. Смятам след година-две (ако нещата потръгнат) тогава да почна да се оглеждам за ферма. Знам, че тогава хардуера ще е друг и тн. Иначе ако сега правих фермата бих се спрял на Inrel Core I7 4790k (аз сега използвам 3770 ). Но пък може и да изчакам и да видя какво ще представлява петата генерация на Intel.

Благодаря ви за помощта и поздрави.

[sliderum]

след като има бюджет, нека колегите покажат какво може да се направи за него, така ще се ориентирате визуално за какво иде реч

[Гост]

след като има бюджет, нека колегите покажат какво може да се направи за него, така ще се ориентирате визуално за какво иде реч

Ами добре, може да дадат примерна конфигурация. Хубаво е да има и видео карта да не е вградена, не съм фен на AMD и ATI, което означава да е Intel и Nvidia, може да ги използвам и като ферма за After Effects така че ще може видеото да е GTX 750 (само да не е Palit). За дъно предпочитам gigabyte (не следа чак толкова дъната), може да не е клокърско, а пък за охлаждане. Смятам да сложа Noctua NH-D 14

[Янко Влахов]

Само да уточня че в зависимост от модела и шасито обикновено бройката в едно шаси е между 6 и 14

П.П. Но пак говорим за доста мощни (от сървърна гледна точка) машини

 

Капитанееее

 

Support 20 pieces of 2-way blade NX5440

 

Би трябвало да знаеш, че обикновено говоря неща за които съм горе долу сигурен

 

А за питащия да отбележа че всяко от тия шасита поддържа

 

 

 

Up to 256GB RDIMM 

 

което за всичките машинки в това шкафче 8U прави 5120GB рам мамка му.

И 10 х Intel® Xeon® processor E5-4600 series

[capnemo]

Капитанееее

 

 

Support 20 pieces of 2-way blade NX5440

 

Би трябвало да знаеш, че обикновено говоря неща за които съм горе долу сигурен

 

А за питащия да отбележа че всяко от тия шасита поддържа

 

 

което за всичките машинки в това шкафче 8U прави 5120GB рам мамка му.

Не бях виждал с толкова много, признавам си

П.П. Макар че за рендеринг ферма е (почти) все едно дали ще сложиш 20 с по два процесора или 10 с по 4 процесора

[Янко Влахов]

Не бях виждал с толкова много, признавам си

П.П. Макар че за рендеринг ферма е (почти) все едно дали ще сложиш 20 с по два процесора или 10 с по 4 процесора

 

Те ако са 20 ще са от Е5-2600 серията а 10 от Е5-4600.

Сега за паметта има малка подробност че толкова рам може да се постигне с 32GB плочки който не е ясно дали ще се произведат някога а за цената на бройка да не коментираме