2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат)

^ 2.7 Создание средств хранения инфы в территориально-распределенных средах
Исполнитель – ГЦ РАН, г. Москва.


См. приложение – отчет за 2 шаг по части 8 Технического задания к договору СГ-2/07 от 16.07.2007 г.


Содержание шага 2.

Анализ научно-технической литературы и других 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) материалов, относящихся к разрабатываемой теме. Подбор моделей для решения задач.


Информатика среды - это стремительно развивающаяся область на стыке таких вычислительной техники и естественных наук, как искусственный ум, геоинформационные системы (ГИС), численное 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) моделирование, программные и пользовательские интерфейсы. Растущие объемы данных в нынешних системах хранения и потребности научного общества, которое нуждается в встроенном и надежном представлении инфы об окружающей среде для нужд моделирования, мониторинга и оценки 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) глобальных конфигураций, требуют нового подхода к организации доступа и управления данными. Понятие "окружающая среда" содержит в себе элементы из многих областей, таких как околоземное галлактическое место, атмосфера, океан, топография.

На 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) сегодня существует возможность высоко близкого к реальности моделирования среды на самых различных уровнях. Такие системы, как Global Change Master Directory (GCMD), разработанная в НАСА (http://gcmd.nasa.gov) либо Master Environmental 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) Library (MEL), сделанная Отделом моделирования Министерства обороны США (https://mel.dmso.mil/) и др., позволяют находить климатические (мета)данные, распределенные по сети, но способности интерактивно запрашивать и соединять воединыжды грид-сервисами распределенные данные в общий 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) набор в разных пространственно-временных моделях (сетка, станция, линия движения) для параллельного анализа в виде поиска "сценариев" (наборов критерий снутри архивов данных) вне предлагаемой нами технологии до сего времени не 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) было.

Предложенная Коддом в 1970 г. реляционная модель данных и ее реализации в виде реляционных баз данных с языком запросов SQL с расширениями для нечетких запросов, настолько удачно применяемые в бизнес-приложениях, все же 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) не являются универсальным эталоном для архивов данных по окружающей среде. Петабайтные наборы данных до сего времени поставляются в виде наборов файлов, так как внутренняя организация бинарных файлов прямого доступа вроде 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) NetCDF (http://www.unidata.ucar.edu/software/netcdf/)либо HDF (http://hdf.ncsa.uiuc.edu/) лучше соответствует научной модели данных в виде многомерного массива, чем набор связанных меж собой записей из нескольких двумерных таблиц. Разработанный 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) UNIDATA (http://www.unidata.ucar.edu) сервер THREDDS с сетевым протоколом доступа к данным OpenDAP является попыткой агрегировать разные научные форматы в общую модель данных в виде многомерного массива 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) (Common Data Model). Эта продолжающаяся работа по унификации доступа к научным данным на сей день не поддерживает экспорт данных в формате XML и не совместима с зарождающимися в среде e-Science Data Grid эталонами сервисов 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) данных.

В реальном отчете мы хотим предложить абстрактный уровень грид-сервисов данных для виртуализации баз данных, при помощи которых мы избираем временные ряды с параметрами среды для следующего распределенного поиска сценариев 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) событий. Интерфейс источника данных реализован в виде плагинов в контейнере OGSA-DAI (http://www.ogsadai.org) с ординарными XML-схемами ввода и вывода по эталону NCML-G (http://www.unidata 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат).ucar.edu/projects/THREDDS/Nativi/NcML-G/NcML-G.htm). По нашим оценкам, экспорт данных в формате XML с следующей GZIP-компрессией просит сравнимых вычислительных издержек и сетевого трафика, что и при записи 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) в бинарные NetCDF файлы. Следование спецификации OGSA-DAI и внедрение языка программирования Java/J\# позволяет нам опустить виртуальные веб-сервисы данных в большая часть из имеющихся сейчас контейнеров веб- и грид-сервисов 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат), включая Microsoft ASP.NET (http://msdn.microsoft.com/netframework/), Apache Tomcat/Axis (http://ws.apache.org/axis/), WSRF Globus Toolkit 4 (http://www.globus.org/toolkit/), OMII (http://www.omii.ac.uk 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат)/), и EGEE gLite (http://glite.web.cern.ch/glite/).

Результаты работы оформлены в виде статьи, направленной для публикации.

Архитектура и интерфейсы грид-сервисов пространственно-временных данных может быть рекомендована для практического использования 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) на последующем шаге научно-исследовательской работы и для решения других задач геоинформатики и дистанционного зондирования Земли из космоса. Разработка сотворения OLAP-кубов данных может быть рекомендована для баз данных и для публикации в научной 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) и учебной литературе.

Технико-экономическая эффективность внедрения определяется тем, что на базе инфраструктуры СКИФ-Грид создается единая кросс-платформенная распределенная высоко-производительная платформа для доступа, анализа и визуализации многодисциплинарных сверхбольших 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) архивов геофизических данных.

Результаты НИР превосходят по гибкости языка запросов и скорости подборки данных предыдущие заслуги, известные из литературных источников.
^ 2.8 Создание системы автоматизации разработки программ (DVM-СКИФ) для суперкомпьютеров «СКИФ» последнего поколения 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат)
Исполнитель – ИПМ РАН, г, Москва.


См. приложение – отчет за 2 шаг по части 9 Технического задания к договору СГ-2/07 от 16.07.2007 г.


Содержание шага 2.

Анализ технических решений, принятых при проектировании DVM-системы, исходя из убеждений 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) необходимости их пересмотра для адаптации к суперкомпьютерам семейства СКИФ


Можно выделить последующие особенности суперкомпьютеров «СКИФ» последнего поколения, которые могут востребовать адаптацию DVM-системы:



Огромное количество узлов может войти в противоречие с ограничениями на размеры таблиц и полей, принятыми при разработке компонент системы. Не считая 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) того, действенное внедрение огромного количества узлов может востребовать пересмотра неких алгоритмов работы системы.

Существенное число ядер в SMP-узлах просит для их действенного использования внедрения гибридной модели программирования - модели общей памяти (OpenMP 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат)) в узлах и модели передачи сообщений (MPI) меж узлами. Для того, чтоб позволить программеру использовать в узлах модель общей памяти, требуется сконструировать методику такового совместного использования моделей DVM и OpenMP. Применение гибридной модели существенно 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) усложняет работу программера – ему нужно знать обе модели и уметь использовать надлежащие инструментальные средства. Потому нужно значительно повысить уровень автоматизации сотворения параллельных программ для SMP-кластеров.

Внедрение суперкомпьютеров в составе метакластеров 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) и ГРИД ставит задачку обеспечения выполнения параллельной программки на неоднородной системе микропроцессоров, различающихся архитектурой и производительностью. Для функционирования на микропроцессорах с разным представлением данных нужно, чтоб в программке все межпроцессорные обмены осуществлялись 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) с четкой спецификацией типов посылаемых и принимаемых данных. Действенное внедрение микропроцессоров разной производительности просит учета их производительности при рассредотачивании вычислительной работы меж микропроцессорами. Не считая того, нужно учесть и различающиеся свойства коммуникационных каналов 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат), связывающих микропроцессоры.

Технические решения, принятые при проектировании DVM-системы, были проанализированы с вышеперечисленных точек зрения. Результаты этого анализа приводятся ниже.


При построении системы DVM был применен новый подход, который характеризуется последующими принципами 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат).



Система состоит из последующих компонент:

Эти составляющие удовлетворяют последующим требованиям:



Язык Fortran DVM (FDVM) представляет собой язык Фортран 77, расширенный спецификациями параллелизма. Эти 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) спецификации оформлены в виде особых комментариев, которые именуются директивами. Директивы FDVM можно условно поделить на три подмножества:

Модель параллелизма FDVM базируется 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) на специальной форме параллелизма по данным: одна программка – огромное количество потоков данных (ОПМД). В этой модели одна и та же программка производится на каждом микропроцессоре, но каждый микропроцессор делает свое подмножество 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) операторов в согласовании с рассредотачиванием данных.

Полное описание языка FDVM содержится по адресу http://www.keldysh.ru/dvm/dvmhtm1107/rus/usr/fdvm/fdvmLDr.html.


Система поддержки Lib-DVM написана на языке C и 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) употребляет средства MPI для обеспечения межпроцессорного взаимодействия. Большая часть операций библиотеки Lib-DVM является коллективными (к примеру, создание распределенного массива и его перераспределение), и должны быть вызваны на всех узлах.

Полное описание 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) функций библиотеки Lib-DVM содержится по адресу http://www.keldysh.ru/dvm/dvmhtm1107/rus/sys/libdvm/rtsIDr0.html.


DVM отладчик предназначен для отладки DVM-программ и употребляет последующий подход. Поначалу программка отлаживается на рабочей 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) станции как поочередная программка с внедрением обыденных средств отладки. Потом программка производится на той же рабочей станции в особом режиме проверки DVM-директив. На 3-ем шаге программка производится на параллельном компьютере в 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) особом режиме сопоставления промежных результатов выполнения с эталонными плодами (к примеру, с плодами поочередного выполнения).

Подробное описание отладчика содержится по адресу http://www.keldysh.ru/dvm/dvmhtm1107/rus/sys/debug/debugDDr.html 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат).


Анализатор производительности предназначен для анализа и отладки эффективности выполнения DVM-программ. При помощи анализатора производительности юзер имеет возможность получить временные свойства выполнения его программки с различной степенью подробности.

Эффективность выполнения параллельных 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) программ на многопроцессорных ЭВМ с распределенной памятью определяется последующими основными факторами:

Возможность различать поочередные и параллельные участки программки при ее выполнении на многопроцессорной ЭВМ, позволяет анализатору производительности выдать юзеру 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) последующие главные характеристики выполнения параллельной программки:


Для более детализированного анализа эффективности программки юзер обязан иметь возможность получить свойства роли каждого микропроцессора в выполнении параллельной программки. Не считая 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) того, ему будут предоставлены средства разбиения выполнения программки на интервалы и способности получения черт производительности для каждого из их.

Анализатор производительности состоит из 2-ух подсистем – подсистемы сбора и подсистемы обработки.

1-ая 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) подсистема обеспечивает на каждом микропроцессоре сбор черт выполнения параллельной программки. Воззвания к этой подсистеме происходит из Lib-DVM во время выполнения параллельной программки. Не считая того, в языке Fortran DVM 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) есть средства описания интервалов выполнения программки, для которых юзер вожделеет получить свойства эффективности. Компиляторы обеспечивают воззвания к подсистеме сбора при начале и окончании каждого такового интервала. Собранная на каждом микропроцессоре информация записывается 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) в файл при окончании выполнения программки.

2-ая подсистема обеспечивает на рабочей станции обработку инфы, собранной на параллельной машине, и выдачу данных юзером черт эффективности.

Подробное описание способностей анализатора эффективности можно отыскать по 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) адресам http://www.keldysh.ru/dvm/dvmhtm1107/rus/sys/perform/pppaPDr.html и http://www.keldysh.ru/dvm/dvmhtm1107/rus/sys/perform/pppaDDr.html.


Анализ востребовал исследования документации, описывающей интерфейсы меж компонентами системы и 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) методы их функционирования. Время от времени приходилось учить начальные тексты программ.

Основными плодами проведенного анализа являются:

  1. ^ Ограничений на размеры таблиц и полей, которые могли бы войти в противоречие с огромным количеством 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) узлов, не найдено. Потому DVM-программа должна работать даже в этом случае, когда на каждом ядре размещается MPI-процесс, а OpenMP вообщем не употребляется. Естественно, в данном случае библиотека MPI должна 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) управляться с обслуживанием нескольких тыщ MPI-процессов.

  2. ^ Для действенного использования огромного количества узлов нужно поменять методы реализации неких коллективных операций. К примеру, при реализации редукционной операции суммирования заместо сбора инфы в одном микропроцессоре можно собирать 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) ее и суммировать, представив группу микропроцессоров в виде двоичного дерева. Конкретно так работают библиотеки MPI при выполнении схожих операций, но пользоваться операциями MPI в почти всех случаях не удается 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) по двум причинам. Во-1-х, в DVM коллективные операции могут быть неблокирующими, а в MPI они всегда заблокируют выполнение процессов. Во-2-х, в DVM есть коллективные операции, отсутствующие в MPI (к примеру, MAXLOC и 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) MINLOC).

  3. ^ Существенное число ядер в SMP-узлах просит для их действенного использования внедрения гибридной модели программирования - модели общей памяти (OpenMP) в узлах и модели передачи сообщений (MPI) меж узлами. Применение гибридной 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) модели существенно усложняет работу программера – ему нужно знать обе модели и уметь использовать надлежащие инструментальные средства. Потому нужно значительно повысить уровень автоматизации сотворения параллельных программ для SMP-кластеров. Были изучены препядствия, возникающие при автоматическом 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) преобразовании поочередных Фортран программ в параллельные программки на языке Fortran DVM, и изготовлен вывод о необходимости некой корректировки языка в части организации ввода-вывода.

  4. ^ Для функционирования на микропроцессорах с разным представлением данных 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) нужно, чтоб в DVM-программе все межпроцессорные обмены осуществлялись с четкой спецификацией типов посылаемых и принимаемых данных. В текущее время это не обеспечено. Основной предпосылкой такового недочета будет то, что система 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) была вначале рассчитана на внедрение не только лишь MPI, да и других коммуникационных библиотек (PVM, GNS, Router), в каких типизации данных не было.

  5. ^ Действенное внедрение микропроцессоров разной производительности просит учета их производительности 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат) при рассредотачивании вычислительной работы меж микропроцессорами. В DVM-системе это производится автоматом только при рассредотачивании витков циклов меж микропроцессорами, а при рассредотачивании меж микропроцессорами параллельных подзадач просит роли программера.

  6. DVM 2.7 Создание средств хранения информации в территориально-распределенных средах - А. П. Крюков (введение, реферат)-система не учитывает свойства коммуникационных каналов, связывающих микропроцессоры. Потому для действенного использования систем с неоднородными коммуникационных каналами (к примеру, метакластеров) требуется вмешательство программера.




27-struktura-postroeniya-oplati-truda-sozdanie-sistemi-povisheniya-oplati-truda-ili-zarabotkov.html
27-tematicheskaya-oblast-akvabiokultura-2-1-tematicheskaya-oblast-fundamentalnie-osnovi-biotehnologij.html
27-trebovaniya-k-obektam-povsednevnogo-sprosa-i-ih-territoriyam-1-naznachenie-i-oblast-primeneniya.html