TESLA

GIS FEDERAL ПРОИЗВОДИТ ПЕРЕВОРОТ В ОБЛАСТИ ПОЛУЧЕНИЯ ДОСТУПА К ГЕОПРОСТРАНСТВЕННЫМ ДАННЫМ

GPU-ускоренная база данных GAIA обеспечивает анализ и визуализацию данных в режиме реального времени

КАТЕГОРИЯ КЛИЕНТОВ

  • GIS Federal специализируется на архитектуре систем управления предприятиями, облачных вычислениях и аналитике больших данных

ЗАДАЧА ПРОЕКТА

  • Создание системы для обеспечения Армии США доступом к разнообразным геопространственным данным на удаленных терминалах почти в режиме реального времени

РЕШЕНИЕ NVIDIA

  • Ускорение на графических процессорах NVIDIA® с поддержкой CUDA обеспечило новый уровень способности к обслуживанию запросов



В 2009 году идея облачного доступа к детализированным геопространственным данным в режиме реального времени казалась невозможной даже на самых современных вычислительных серверах. В то время GIS Federal начала исследовательский проект для Армии США, задача которого заключалась в фильтрации 10 миллионов точек на исследуемом участке. Компания смогла добиться своей цели, создав систему на базе CPU, которая отфильтровала точки за 92 минуты. GIS Federal признала недостатки, связанные с обработкой аналитических задач в тяжелом режиме на традиционных CPU. Суперкомпьютерные вычисления на основе GPU позволяют добиться значительного увеличения вычислительной мощности одновременно с сокращением затрат на энергопотребление. GPU сокращают время обработки тяжелых операций в геоинформационных системах с часов до минут, с минут - до секунд. Это позволяет пользователям запускать сложные задачи в веб-среде, обеспечивая большую вычислительную мощность на удаленных терминалах.

В условиях неблагоприятной или удаленной среды доступ к своевременной информации очень важен, поэтому сокращение времени сбора и доставки данных играет решающую роль. «Используя мощность GPU, мы можем передавать данные с миллиарда геопространственных точек на определенном участке менее чем за 2 секунды. И это было возможно уже в 2010 году, - рассказал Амит Видж (Amit Vij), генеральный директор GIS Federal. - Комбинация нашей патентованной базы данных GAIA и системы на основе GPU кардинально меняет получение доступа к данным геопространственной разведки».

В структуре патентованной базы данных используется ускорение на GPU

GIS Federal

Фотография воздушных путей демонстрирует возможности растеризации геопространственных данных большого объема с использованием GPU. Вместо того чтобы выкладывать через веб-браузер ограниченные данные, GIS Federal может предоставить пользователю все данные, создав моментальное растровое изображение или изображение в формате PNG весом 4 Кбит.

GAIA – это распределенная база данных, которая была создана специально для многоядерных серверов. «Так как мы привязываем порождаемые GPU подпроцессы к данным, отличие GAIA от других баз данных заключается в том, что она может обеспечить совершенно новый уровень способности обслуживать запросы, который традиционно не доступен разработчикам, - сказал Нима Негабан (Nima Negahban), главный технический директор в GIS Federal. - Благодаря GAIA можно использовать такие запросы, как "join” и “group by”, а это открывает совершенно новые возможности для анализа данных. Разработчику не нужно пытаться создать индекс или предварительно вычислять все возможные комбинации абсолютных и переменных значений. Большинство систем для работы с большими массивами данных могут лишь дать указатель к очень длинному списку, запросить, как много значений в этом списке, и вам придется очень долго ждать ответа на запрос. Но так как GAIA привязывает потоки GPU к данным, она выполняет эти сложные вычисления невероятно быстро».

«Когда мы начали работу над GAIA, мы хотели, чтобы у тех, кто работает с базой данных, не было необходимости знать CUDA или то, как синхронизировать данные на нескольких ядрах или машинах, - продолжил Негабан. - Мы абстрагировались от этого, поэтому GAIA работает больше как традиционная база данных, где вам необходимо ввести данные, вы получите модуль Query API и затем сможете продолжить работу. При этом вам не придется знать все мельчайшие подробности работы своей видеокарты или кластера».

Доступ к данным прогнозной аналитики на удаленных терминалах

Разработчик, работающий с GAIA, может добавлять в базу данных объекты из широкого спектра источников и схем. При этом он будет иметь мгновенный доступ к базе для выполнения сложных запросов, не испытывая при этом задержек в индексации, даже при работе удаленно. «Раньше аналитики занимались только теми вопросами, которые касаются исследуемого мною вопроса, и запускали процессы прогнозной аналитики, для выполнения которых требовалось по меньшей мере один-три дня, - рассказал Видж. - Это занимало от нескольких минут до нескольких часов, в зависимости от объема данных, с которым они работают. Теперь аналитики разведывательной службы могут управлять всем процессом в полевых условиях. Они могут менять и настраивать в своих вычислениях различные переменные, чтобы очень быстро получить искомые данные. Работа, которая раньше занимала несколько часов или дней, теперь выполняется почти в режиме реального времени».

К примеру, GAIA позволяет выполнять трендовый и прогнозный анализ для обнаружения СВУ, используя данные о случаях взрывов СВУ на определенных маршрутах в прошлом. Это может быть использовано для составления маршрутов снабжения военных миссий. Также существует система аварийного оповещения, которая может показать лучшие существующие маршруты почти в режиме реального времени, исходя из последних событий. «Транспорт каждую секунду создает точки, соответствующие своему перемещению, - пояснил Видж. - Это приводит к появлению миллионов треков с миллиардами точек. GAIA с ускорением на GPU может проводить вычисления в оперативной памяти, на что потребовались бы многие годы на системе на базе CPU. Благодаря компьютеру SGI UV 2000 и графическим картам NVIDIA K20X, мы имеем в своем распоряжении 43 000 физических ядер и 10 терабайт оперативной памяти. Это позволяет нам проводить невероятное число операций с плавающей точкой в секунду, что было бы невозможно на системе на базе CPU».

Объединение данных и другие крупные достижения, которые ждут GAIA

Появится еще больше техник и алгоритмов анализа, которые, возможно, будут продолжать развиваться. «Перед нами раскроется так много новых возможностей, - сказал Видж. - Мы сможем увидеть, какие точки местоположения объектов связаны с другими точками. Мы сможем создавать теплокарты местности в формате видео с привязкой ко времени. Мы сможем за секунду растрировать сложные данные, как изображение или видео. Раньше такой тип визуализации был невозможен. Продвинутые возможности ввода данных в GAIA также создают огромный потенциал для объединения данных, что по-настоящему впечатляет. Один запрос может столкнуться с многочисленными типами данных с различными схемами. Система типов GAIA распознает, как объединить эти, казалось бы, разрозненные типы в один точный результирующий набор".