10 C
София

Софтуерът, който използват ЦРУ и НАСА за извличане и анализ на данните

Най-четени

Даниел Десподовhttps://www.kaldata.com/
Ежедневен автор на новини. Увличам се от съвременни технологии, оръжие, информационна безопасност, спорт, наука и концепцията Internet of Things.

След изтичането на секретна информация от страна на Едуард Стоун стана кристално ясно, че АНС събира данни за всички граждани преди извършването на престъпление, а не на заподозрени след престъплението.

Аналогични похвати за събиране на данни за всички жители преди извършването на каквото и да било престъпление започнаха да практикуват и други държави, включително и в Европа. Става дума за дълготрайно съхранение на интернет трафика, информация за придвижването на хората, запис на техните телефонни разговори, записите от охранителните камери и т.н. По принцип това е много удобно, понеже когато се наложи, могат да бъдат намерени необходимите улики за всеки един.

Разбира се, за бързото търсене на необходимата информация в подобен огромен масив от данни е необходим специализиран софтуер.

Облачната инфраструктура

Ролята на своеобразна облачна инфраструктура за информационната мрежа на АНС към днешен ден изпълнява дата центърът с кодово име Земна пчела (Bumblehive), който може да съхранява 5 зетабайта данни. Това бе последният голям център за обработка на данни, изграден по поръчка на специалните служби, които сега постепенно мигрират в електронните облаци, като при този процес частично използват инфраструктурата на обикновените провайдъри, включително и AWS.

Обектът Menwith Hill на НСА във Великобритания

Известно е, че през 2018 година АНС е прехвърлила по-голямата част от своите данни в електронния облак Intelligence Community GovCloud, който използва собствената инфраструктура на Агенцията за Национална сигурност. Използва се стандартен хардуер, към който са добавени многобройни и уникални както софтуерни, така и хардуерни модули.

Като алтернатива разузнаването на САЩ може да използва хибридния облак Commercial Cloud Enterprise (C2E) на ЦРУ, който използва платформите на пет стандартни провайдъра: AWS, Microsoft, Google, Oracle и IBM.

Сега се изгражда още един хибриден електронен облак, базиран на публичната инфраструктура Hybrid Compute Initiative, който трябва да замени C2E.

Вълшебните палантири

Какъв все пак какъв софтуер използват разузнавателните агенции?

В областта на анализа на данните за главен изпълнител се счита Palantir Tenchonologies.

Тази компания е основана през 2003 година от група инвеститори ръководена от небезизвестния Питър Тил. Да си припомним, че Питър Тил заедно с Илън Мъск основаха финансовата компания PayPal Inc. Но през периода от 2002 до 2003 година техните пътища се разделиха, като Тил основа Palantir, а Мъск се зае със SpaceX и Tesla. Всички тези компании бяха създадени с помощта на милиардите, спечелени от тези млади по това време хора след продажбата на PayPal на гиганта eBay.

И така, Питър Тил явно е видял, че има възможност добре да спечели от разработването на софтуер по поръчка на ЦРУ и АНС, което ще осигури богати финансови възможности за неговата компания и солидни договори и държавни поръчки в продължение на много дълго време.

Името на фирмата не е случайно избрано. Палантирът е магически артефакт от Вселената на Толкин, който дава възможност да се види всичко, което протича в настоящия момент в друго място или се е случило в миналото. Аналогията е съвсем очевидна – с помощта на анализа на натрупаните огромни масиви от данни, с помощта на Palantir е възможно постигането на нещо подобно.

Софтуерът

Питър Тил привлича със себе си няколко програмиста на PayPal, които през 2004 година написват първия прототип на компютърната система, която се използва за демонстрация на потенциалните клиенти от американското разузнаване.

Какво всъщност върши специализираният софтуер Palantir? На практика това е една мощна търсачка, която работи в средата на обединените данни от многобройни източници, от стотиците бази данни, които непрекъснато събира, записва и съхранява АНС. Самите разработчици наричат този софтуер Система за засилване на разузнавателните способности (intelligence augmentation), понеже тя съчетава в себе си най-съвременни и мощни алгоритми с елементи на изкуствен интелект плюс труда на специализирани аналитици.

Слайд от презентацията на Palantir за държавни служители и клиенти. Изтекла информация
 

Системата индексира всичката информация, за да може в реално време да осигурява информацията за подадените към нея заявки. Като типичен пример на заявка е веднага да бъдат дадени имената на членовете на наркокартел. Специализираният софтуер намира „скритите“ връзки между хората и различните организации, което преди време изискваше месеци най-усърдно изучаване на многобройни документи от страна на десетки следователи.

Лицензите за използването на Palantir се продават. Държавата купува тези лицензи и ги дава на следователите и оперативните работници, за да могат те да имат достъп до тази система. Обучението се заплаща допълнително. Така например, през 2011 година агенцията US Immigration and Customs Enforcement е закупила необходимите лицензи за 1150 свои служители на обща цена $7,5 милиона (информацията е на washingtonian.com).

 

Освен основния продукт за ЦРУ и АНС компанията продава специализирани решения и за обикновените клиенти. Ето четири платформи, три от които все още се продават:

  1. Metropolis (бившата Finance), продажбите са прекратени
  2. Foundry
  3. Gotham (бившата Government)
  4. Apollo

В тях се използват същите фирмени технологии за изчислителна аналитика и интегриране на данните от различни източници, които се използват и в основния софтуер за разузнавателните агенции.

Интересно е, че Foundry се позиционира като „операционна система на съвременното предприятие“. Това е корпоративна система за интегриране на всички достъпни данни, на базата на които предлага решения.

Подобната система Palantir Gotham се използва за описване на свойствата и отношенията между различните обекти. Нейният базов модел на практика е граф.

Palantir Gotham
 

Gotham извършва низходящ анализ, като започва с някой описателни статистически данни за набор от обекти или събития и итеративно уточнява този набор. Извършва се и възходящ анализ, който започва от един единствен или няколко обекта, като постепенно се разширява чрез търсене и добавяне на подобни или свързани обекти.

От своя страна, Metropolis извършва математически анализ на поведението на моделите по скалата на времето, като предлага и обобщен анализ: клиентът може да избере набор от модели и период от време, и да извършва върху тях сложни математически пресмятания и прогнози.

Gotham се занимава с геопространствен анализ. Клиентът може да нанесе местоположението на различни обекти върху карта, а системата анализира техните промени с течение на времето, като може да импортира най-различни файлове, които показват тези промени на обектите. Тази информация може да бъде добавена към общия масив данни, в който работи търсачката.

Интересно е, че Gotham работи с неструктурирани данни. Тази система обединява обектите в графа и открива липсващите фрагменти, като използва най-различни данни, включително и от социалните мрежи.

За разлика от нея, базовият модел на Metropolis е изградена чрез времеви поредици – тоест, това на практика е поток от събития. Въпреки че тази система вече не се продава, този подход масово се използва в другите продукти на компанията Palantir.

 

И накрая Palantir Apollo е системата за управление и и разгръщане на Gotham и Foundry. Тя е създадена във връзка с това, че някои клиенти използват по няколко публични и частни облачни платформи в рамките на своята инфраструктура. Apollo извършва обновяването на конфигурациите и програмното осигуряване на платформите Foundry и Gotham с помощта на специализирана архитектура от микро онлайн услуги. Този продукт дава възможност на компанията Palantir да предоставя своя софтуер във вид на услуга (SaaS), каквито са съвременните тенденции.

Функционалността на тези комерсиални системи приблизително съвпада с функционалността на софтуера на Palantir, който се използва от ФБР, ЦРУ, АНС и другите разузнавателни агенции. Разликата е предимно в масива данни, обема и скоростта на изчисленията.

Данните станаха по-ценен ресурс от нефта

Едва ли специализираният софтуер на Palantir е уникален. Със сигурност подобни системи се разработват и се използват и в другите държави. Това е логично, понеже от тях може да има голяма полза.

За Русия е известно, че всички местни оператори са задължени да поддържат системата СОРМ-3, която много прилича на американската система за тотално подслушване PRISM, която бе разсекретена от Едуард Сноудън. За Китай няма изтекли надеждни данни.

Изтекъл слайд за използването на Palantir при кибератака
 

Сред документите на Сноудън бе публикуван списъка с някои специални цели, за които АНС също събира данни. Това са подадените заявки към интернет търсачките, записът на всички посетени сайтове, изтеглените видеоклипове (програмата Aladdin), получаваната и изпращаната електронна поща, активността в социалните мрежи, всички коментари, запис на водените телефонни разговори с биометрична идентификация на гласа (програмата Babel ), видео чатът, всякаква информация за ДНК, онлайн игрите (програмата Reynard за анализ на профилите) и още много други. Всеки тип данни трябва да бъде класифициран, индексиран и отделно анализиран.

Мрачното бъдеще

В публикувания миналия месец отчет на аналитичната компания JDC, който носи името „The Future of Government 2030+“ се казва, че специализираният софтуер на Palantir успешно се използва от разузнавателните агенции не само на САЩ, но и на Великобритания, Германия и Дания. Редица експерти са на мнение, че в бъдеще този анализ на големи бази данни ще стане стандартна практика в държавното управление. Ето как аналитиците на JDC виждат един от четирите възможни сценария на социалната структура след 10 години:

Ето как изглеждат сценариите на JDC за нашето бъдещо развитие, като те съвсем не са шега:

  • Раздаване на всички жители електронни eID с чипове
  • Използвания на ИИ модели за формиране мнението на избирателите
  • Продажбата на своите персонални данни от страна на потребителите за закупуване и използване на онлайн услугите
  • Глобална власт на транснационалните цифрови корпорации

От гледна точка на националните правителства това са песимистични сценарии. Идеята на този доклад е обществото да приложа всички сили, за да не се допусне реализирането на нито един от тези сценарии. Но за тази цел е необходимо да бъдат променени сегашните тенденции, които са показани в лявата част на по-горния слайд. В противен случай финалът може да бъде изключително неприятен.

От друга страна, много хора са на мнение, че показаната по-горе схема може да бъде приета като съвсем логичен маршрут към един неизбежен киберпънк.

Има и алтернативни сценарии:

  • Свръхрегулиране от страна на държавите
  • Пряка демокрация с премахване на бюрократичните бариери
  • Обществено самоуправление или така наречената DIY-демокрация

Може би различните държави първоначално ще поемат по по-различен път и по различни сценарии на своето развитие, преди натрупаните разлики да се нивелират в едно по-отдалечено бъдеще.

Абонирай се
Извести ме за
guest
6 Коментара
стари
нови
Отзиви
Всички коментари

Нови ревюта

Подобни новини