14 терабайта в секунда: Google разкрива тайната на Effingo

Effingo осигурява безпрецедентна скорост на данните, променяйки правилата на играта в управлението на информацията.

Google разкри техническите подробности за своя вътрешен инструмент за обмен на данни, който се нарича Effingo и с който всеки ден се прехвърлят средно 1,2 екзабайта информация.

По време на конференцията SIGCOMM 2024 в Сидни беше представен официален документ, в който се обяснява, че ограниченията на честотната лента и постоянната скорост на светлината принуждават Google да дублира данните, така че те да са по-близо до мястото, където се обработват или споделят. Инструментът Effingo намалява мрежовата латентност от стотици милисекунди до десетки милисекунди на континент.

Конвенционалните инструменти за прехвърляне на данни или оптимизират времето за прехвърляне, или обработват потоци от данни от точка до точка, но не могат да се справят с обемите данни, които Effingo прехвърля всеки ден – 14 терабайта в секунда. Effingo взема предвид важността на задачите, като осигурява необходимите ресурси за приоритизиране на задачи като възстановяване след бедствие пред рутинното прехвърляне на данни.

Effingo е оптимизирана да използва файловата система Colossus, разработена от Google и внедрена в клъстери, състоящи се от хиляди машини. На всеки клъстер е инсталиран софтуера Effingo, който се състои от контролна и транспортна плоскост. Плоскостта за управление управлява жизнения цикъл на копирането, докато транспортната плоскост прехвърля данните и проследява състоянието. Транспортната равнина консумира 99% от ресурса на процесора, но се състои от по-малко от 7% реда код.

Всеки клъстер е свързан с другите клъстери чрез мрежи с ниска латентност и висока пропускателна способност или WAN връзки, като се използва инфраструктура на Google и на трети страни. Инструментът Bandwidth Enforcer (BWe), също разработен от Google, разпределя честотната лента въз основа на приоритетите на услугите и стойността на добавената честотна лента.

Когато даден потребител започне трансфер на данни, Effingo изисква разпределение на трафика от BWe и започва да прехвърля данните възможно най-бързо. Това разпределение може да стане въз основа на предварително определени квоти, като се използват показателите за широчината на честотната лента и наличните работни ресурси на Effingo, които изпълняват операциите по преместване на данни под формата на „Borg“-задачи (платформата за контейнеризация на Google).

Въпреки всички усилия за разпределяне на ресурсите, средният размер на глобалната опашка на Effingo е 12 милиона файла, което се равнява на около осем петабайта. В пиковите моменти опашките се увеличават с 12 петабайта и девет милиона файла, когато 10-те най-големи потребители инициират нови трансфери.

Google планира да подобри интеграцията на Effingo със системите за управление на ресурсите и да оптимизира използването на CPU за трансферите между клъстерите. Планирани са и подобрения за по-бързо мащабиране на трансферите на данни.