Американският стартъп Databricks обяви в началото на тази седмица за поставяне на нов рекорд по скорост на сортиране на данни. Програмата Apache Spark е обработила масив от 100 терабайта данни само за 23 минути и сериозно превишава световния рекорд на Hadoop.
Предишният рекорд бе постигнат от Yahoo чрез популярното приложение Hadoop MapReduce.
Новото постижение е много ценно за информационните технологии и Интернет, и демонстрира бързия технологичен процес в областта Big Data. Hadoop отдавна се счита за най-голямото постижение в тази област, но сега ситуацията се промени.
Една от първите компании, започнали още преди 10 години да използват Hadoop е Интернет-гигантът Google., който през 2009 година започна да използва други софтуерни инструменти, като например Dremel. Въпреки че Hadoop в момента се използва от Facebook, Twitter и eBay, новите алгоритми показват значително по-добра производителност при по-малко използвани ресурси.
През 2011 година Google успя да сортира 1 петабайта данни само за 33 минути, но с използването на 8000 сървъра едновременно. Сортирането на Databricks използва само 206 виртуални машини в електронния облак EC2. Това е едно много добро постижение, от което със сигурност ще се възползват IT-гигантите.
Всичко важно от света на технологиите, директно в пощата ти.
С абонирането приемате нашите Условия и Политика за поверителност. Може да се отпишете с един клик по всяко време.
Коментирайте статията в нашите Форуми. За да научите първи най-важното, харесайте страницата ни във Facebook, и ни последвайте в Google Новини, TikTok, Telegram и Viber или изтеглете приложението на Kaldata.com за Android, iPhone, Huawei, Google Chrome, Microsoft Edge и Opera!
