В Свердловской области задачей обеспечения научно-образовательного сообщества Уральского региона современным вычислительным инструментарием занимается Центр коллективного пользования Института математики и механики имени академика Н.Н. Красовского Уральского отделения Российской академии наук (далее – ИММ УрО РАН) – «Суперкомпьютерный центр ИММ УрО РАН» (далее – СКЦ), который является головной организацией по созданию и развитию вычислительных ресурсов в УрО РАН.
Кроме предоставления вычислительных ресурсов СКЦ ИММ УрО РАН занимается развитием распределенной ГРИД-инфраструктуры УрО РАН, включающей вычислительные ресурсы и системы хранения не только в Екатеринбурге, но и в других регионах присутствия УрО РАН. В настоящее время успешно функционирует региональный вычислительный центр в Институте механики сплошных сред УрО РАН (далее – ИМСС УрО РАН) в городе Перми, связанный с Екатеринбургом выделенной высокоскоростной оптической линией передачи данных.
В целях повышения эффективности применения параллельных вычислительных ресурсов пользователями создана облачная платформа с пакетами прикладных программ для суперкомпьютерных вычислений и обработки больших объемов данных.
ИММ УрО РАН активно развивает контакты с Уральским федеральным университетом имени первого Президента России Б.Н. Ельцина (далее – УрФУ). Совместная кафедра Высокопроизводительных компьютерных вычислений обеспечивает подготовку специалистов, способных на практике применять суперкомпьютеры для решения научных и производственных задач. Кроме подготовки специалистов в области суперкомпьютеров, кафедра готовит специалистов по таким направлениям как обработка больших данных и машинное обучение.
Суперкомпьютер «УРАН»
Суперкомпьютер (далее – СК) «УРАН» собран на базе blade серверов фирмы Hewlett-Packard. Он состоит из 155 вычислительных узлов, установленных в модулях с высокой плотностью упаковки. Вычислительные узлы оснащены процессорами Intel Хеоn, работающими на частотах от 2,2 до 3,0 ГГц, обладающими от 16 до 256 гигабайтами оперативной памяти и графическими ускорителями NVIDIA Tesla. В общей сложности пользователям доступно 1940 вычислительных ядер CPU, 314 плат GPU и 7 Тбайт оперативной памяти. Пиковая производительность СК 260 TFlops. Система хранения СК «УРАН» имеет объем 144 Тбайт полной емкости. Для передачи данных между вычислительными узлами используется высокоскоростные сети Infiniband с пропускной способностью 20 Гбит/с и 100 Гбит/с. Доступ к СК «УРАН» осуществляется через городскую сеть УрО РАН в Екатеринбурге по технологии 10Gi Ethernet со скоростью 10 Гбит/с. На апрель 2017 года СК «УРАН» занимает 14 позицию в списке ТОП 50 наиболее производительных российских СК. Основную загрузку вычислительных мощностей обеспечивают сотрудники 14 институтов УрО РАН. Уровень загрузки оборудования составляет 80% от теоретически достижимой и обеспечивается в круглосуточном режиме, включая выходные и праздничные дни. Тематика обсчитываемых задач разнообразна. Это и материаловедение, и исследование прочностных свойств конструкций без воплощения в металле, и моделирование новых химических соединений, позволяющее просчитывать порции веществ объемом в сотни тысяч молекул, и биологические задачи.
В основном СК «УРАН» занят решением задач фундаментальной науки с выходом на прикладные исследования. Для промышленных расчетов его вычислительные возможности пользуются для выполнения задач по договорам с Научно-производственным объединением Автоматики имени академика Н.А. Семихатова (далее – НПОА), Уральским производственным объединением «Вектор», Опытным конструкторским бюро «Новатор». Среди проектов, успешно реализуемых с помощью СК «УРАН», присутствуют расчет оптимальной траектории вывода на орбиту ракет-носителей «СОЮЗ-2» и «Русь-М» (совместный проект с НПОА) и создание персонифицированных моделей сердца, в частности, моделирование левого желудочка с учетом индивидуальных особенностей человека (совместный проект с Институтом иммунологии и физиологии УрО РАН и УрФУ).
В конце 2016 года, впервые после пятилетнего перерыва, произведена модернизация СК «УРАН». Финансовая поддержка в размере 40 млн. рублей, оказанная ФАНО России, позволила повысить производительность СК с 240 до 260 терафлопс, уменьшить время ожидания результатов, расширить круг пользователей. Сейчас наблюдается всплеск интереса уральских ученых, как академических, так и вузовских, к суперкомпьютеру. Количество его пользователей непрерывно растет. Сегодня СК «УРАН» остается самым мощным кластером в Екатеринбурге и одним из самых мощных на территории восточнее Москвы.
Примеры задач, успешно решенных с применением ресурсов СКЦ.
«Исследование алгоритмов оптимального управления ракетой-носителем класса СОЮЗ-2». Задача: оптимальный вывод полезной нагрузки на заданную орбиту ракетой-носителем класса СОЮЗ-2, начиная с момента старта до выхода на орбиту. Новизна постановки задачи заключалась в наличии дополнительного требования вывода ракеты-носителя не только на заданную орбиту, но в заданную точку орбиты, а также в оценке множества достижимых точек орбиты. В задаче выведения полезной нагрузки максимальной массы на заданную околоземную орбиту с помощью ракеты-носителя «СОЮЗ-2» легкого класса разработана математическая модель динамики последней специальной ступени носителя – разгонного блока (далее – РБ). РБ используется для подъема полезной нагрузки с промежуточной низкой (опорной) орбиты на заданную более высокую (целевую) орбиту. На основе этой модели исследована задача построения оптимального программного управления РБ. Искомое управление должно обеспечивать межорбитальный переход РБ в нормальном гравитационном поле Земли при дополнительных фазовых ограничениях на траекторию его движения, с учетом конструктивных особенностей и условий функционирования РБ. В исследуемой задаче нелинейной динамики эффективность этих алгоритмов существенно зависит от вычислительных мощностей, используемых для их численной реализации. Для проведения численного моделирования с реальными исходными данными была задействована многопроцессорная вычислительная система – СК «УРАН». Результаты проведенного на этом вычислителе обширного вычислительного эксперимента позволили сделать вывод о достаточной эффективности предлагаемых подходов к решению задачи оптимального управления РБ. На СК «УРАН» было проведено более 100 миллионов виртуальных пусков, имитирующих вывод полезной нагрузки на эллиптическую орбиту. В итоге разработана методика оценки эффективности управления, и на её основе созданы алгоритмы формирования оптимального управления, удовлетворяющего всем ограничениям задачи, в том числе ограничениям на районы падения отделяемых частей. Данное исследование выполнялось по заказу НПОА, которое является разработчиком системы управления ракеты-носителя СОЮЗ-2. Результаты исследования получили высокую оценку заказчика.
«Моделирование внутренней динамики Земли и других планет» (ИММ УрО РАН, Международный институт теории прогноза землетрясений и математической геофизики РАН). Задача: моделирование внутренней динамики Земли и других планет с целью изучения истории и перспектив их развития, определения их глобальных свойств в прошлом и будущем (теплового потенциала, сейсмичности и т.д.). С практической точки зрения решение данной задачи на СК «УРАН» открывает новые горизонты в поисках полезных ископаемых, генерация которых тесно связана с эволюцией теплового поля Земли. Благодаря проводимой работе в данном направлении Россия сегодня занимает лидирующие позиции по изучению эволюции земных недр.
«Структурный анализ изображений объектов на космических снимках земной поверхности» (ИММ УрО РАН).
Задачи: распознавание образов, обработка данных дистанционного зондирования земной поверхности, суперкомпьютерная обработка массивного потока данных космической съемки с целью:
создания и обновления электронных карт местности;
оперативного экологического мониторинга окружающей среды;
прогноза техногенных катастроф;
оценки сейсмической опасности.
Целью проведенной работы было создание эффективных методов автоматической интерпретации данных дистанционного зондирования земной поверхности космическими аппаратами. Эти методы предназначены для решения задач обнаружения на космоснимках изображений линейных и площадных объектов и оперативного мониторинга их изменений. Разработаны математические модели для указанных задач, в которых учитываются специфичные для рассматриваемых типов объектов морфологические и текстурные свойства их изображений. Построен эффективный численный метод приближенного решения поставленной задачи, основанный на последовательной минимизации оптимизируемых критериев. Другая модель описывает морфологическую инвариантность изображений объектов относительно широкого класса яркостных преобразований изображений. Алгоритмы реализованы в программном комплексе автоматизированного дешифрирования космических снимков «ДЕКОС». Разработанные программные средства получили положительную экспертную оценку таких государственных предприятий как ФГУП «Госцентр «Природа» (г. Москва) и ФГУП «УралГеоИнформ» (г. Екатеринбург).
Создание математической модели сердца (Институт иммунологии и физиологии УрО РАН, ИММ, ИМСС УрО РАН). Использование вычислительного кластера жизненно необходимо ученым, работающим в областях, где натурный эксперимент невозможен. Так, виртуальная модель сердца, которую совместно разрабатывают сотрудники Института иммунологии и физиологии, ИММ и екатеринбургские кардиологи, позволяет проигрывать разные сценарии развития сердечной недостаточности, отрабатывать технологии установки кардиостимуляторов, оценивать эффект лечения и возможные риски, выбирать оптимальные варианты хирургического вмешательства. С использованием возможностей СК проведены работы по созданию математической модели сердца, отличающейся от существующих применением уникальной модели сократительного процесса мышечных волокон. Рассмотрены проблемы возбуждения и сокращения сердечной мышцы, построения, верификации и компьютерной реализации подобных моделей. Использование данной модели в вычислительном эксперименте позволяет решить целый ряд проблем, актуальных для современной кардиологии. Разработанные модели, методы и алгоритмы реализованы в виде комплекса программ для моделирования электрической активности сердца на параллельных вычислительных системах. Вычислительные эксперименты были проведены на СК «УРАН».
Моделирование газо-гидродинамических процессов в двигателях (ИМСС УрО РАН). Проведение распределенного натурного эксперимента с применением суперкомпьютера и высокоскоростной сети с целью моделирование течения газа в реактивных двигателях. Математическое моделирование течения газа в реактивных двигателях позволяет выявлять патологические эффекты течений (вихревые структуры), избавляться от них, изменяя конструкцию двигателей. Для оперативной обработки непрерывного потока изображений, снимаемого с действующих экспериментальных установок, необходимы возможности СК.
Распределенная ГРИД-инфраструктура УрО РАН
В настоящее время общепризнанным фактом является невозможность создания одного крупного СКЦ, способного обслуживать любые задачи любых пользователей, независимо от их местоположения. Для этого не хватит ресурсов, как финансовых, так и технических (ограничения на площади вычислительных залов, доступные мощности электропитания, возможности охлаждения). Эффективное решение крупных научных задач требует объединения вычислительных ресурсов разных организаций по высокоскоростным каналам связи, которое реализуется с помощью ГРИД-технологий. Наиболее известным примером является ГРИД-инфраструктура Большого адронного коллайдера, в рамках которой объединены вычислительные ресурсы многих стран Европы и США. Россия также принимает участие в этом проекте.
В УрО РАН ведутся работы по развитию распределенной ГРИД-инфраструктуры, охватывающей регионы присутствия отделения.
Разработана концептуальная модель ГРИД УрО РАН, учитывающая специфику структуры и научную многопрофильность УрО РАН, с последующим выходом на работающий прототип. Создаваемый ГРИД не ограничен одной предметной областью, а может быть использован для решения задач в разных областях науки и техники.
Разработана архитектура территориально-распределенной системы хранения данных среды высокопроизводительных вычислений УрО РАН на основе ГРИД-технологий и новых протоколов Интернета (Parallel NFS, WebDAV). Узлы системы хранения могут быть распределены по регионам присутствия УрО РАН. Разработаны механизмы подключения территориально-распределенной системы хранения данных к СК на основе совместного использования ГРИД-протоколов и стандартных протоколов Интернет.
Первый региональный вычислительный центр (РВЦ) создан в ИМСС УрО РАН в городе Перми. В РВЦ передана часть оборудования СКЦ ИММ УрО РАН, ранее входившая в состав СК «УРАН». Пиковая производительность переданного вычислительного кластера 4,5 TFlops. Также в РВЦ передан сервер хранения данных Supermicro, дисковая емкость которого составляет 24 ТБ.
Подключение РВЦ ИМСС УрО РАН к СКЦ ИММ УрО РАИ выполнено по высокоскоростному каналу связи Пермь – Екатеринбург, построенному в рамках проекта Giga UrB RAS. Использованы оптические линии связи и оборудование DWDM. В настоящее время доступны 2 канала по 10 Гб/с и 8 каналов по 1 Гб/с, для ГРИД-инфраструктуры используется один канал 10 Гб/с.
Основные компоненты ГРИД-инфраструктуры: вычислительные ресурсы и системы хранения. Вычислительные ресурсы включают СК «УРАН» и вычислительный кластер в РВЦ ИМСС УрО РАН, интегрированные друг с другом. Распределенная система хранения построена на основе независимых серверов хранения данных Supermicro. Три таких сервера установлено в СКЦ ИMM УрО РАН и один в РВЦ ИМСС УрО РАН. Объединение серверов в логически единую систему хранения выполнено с помощью промежуточного программного обеспечения dCache. Отличительной особенностью dCache является поддержка не только ГРИД-протоколов, но и стандартных протоколов Интернет для распределенных систем хранения, в частности Parallel NFS и WebDAV. Это значительно облегчило подключение распределенной системы хранения к вычислительному оборудованию, которое было выполнено по протоколу NFS версии 4.1 (составной частью которого и является Parallel NFS). Клиент NFS версии 4.1 встроен в используемую на вычислительных узлах операционную систему Linux, в результате на вычислительном оборудовании не пришлось ничего дополнительно устанавливать и поддерживать. С другой стороны, обеспечена возможность в дальнейшем подключить распределенную систему хранения к Российским и международным ГРИД-инфраструктурам по протоколам ГРИД.
К ресурсам РВЦ ИМСС УрО РАН подключены экспериментальные установки ИМСС УрО РАН, генерирующие в процессе работы большие объемы данных и требующие значительного объема вычислительных ресурсов для обработки экспериментальных данных в целях получения новых научных результатов. В качестве примера экспериментальных установок можно привести стенд для измерения факела форсунки, используемой в авиадвигателях.
Создан прототип территориально-распределенной системы хранения данных с устройствами хранения в Екатеринбурге (ИММ УрО РАН) и Перми (ИМСС УрО РАН). Полная емкость системы хранения составляет 252 ТБ. В дальнейшем планируется создавать РВЦ в других крупных региональных научных центрах УрО РАН: Ижевске, Сыктывкаре, Архангельске. Для расширения возможностей научного взаимодействия ГРИД-инфраструктуру УрО РАН планируется подключить к российским и мировым ГРИД-инфраструктурам, таким как ГРИД Российской Федерации, созданный под руководством Министерства связи и массовых коммуникаций Российской Федерации, ГРИД национальной нанотехнологической сети (ГРИД ННС), международная ГРИД-инфраструктура (через ее Российский сегмент РДИГ).
Облачная платформа для вычислений на суперкомпьютерах.
Эффективность применения СК можно повысить путем предоставления пользователям знакомого им предметно-ориентированного пакета прикладных программ, который поддерживает параллельные вычисления. В этом случае пользователи могут начать работать на СК с минимальными затратами на изучение технологий параллельных вычислений. Вместе с тем, пакеты прикладных программ, поддерживающие параллельные вычисления, отличаются высокой сложностью в установке и настройке. Обычным пользователям сложно самостоятельно установить такой пакет и настроить его на работу с СК. Решением является технология облачных вычислений, при которой пользователи работают с программным обеспечением, установленным не на их компьютерах, а на серверах поставщиков облачных услуг.
В настоящее время ведутся работы по предоставлению пользователям СКЦ ИММ УрО РАН пакетов прикладных программ для параллельных вычислений по модели SaaS. Пакеты устанавливаются на серверах вычислительной облачной платформы в СКЦ ИММ УрО РАН профессиональными администраторами и интегрируются с СК «УРАН». Под интеграцией понимается возможность запуска задачи на СК прямо из графического интерфейса пакета с последующей обработкой результатов расчетов (анализ данных, визуализация и т.п.) также в графическом интерфейсе. Для доступа пользователей к облачным ресурсам используются программы подключения к удаленному рабочему столу.
В настоящее время облачная платформа УрО РАН полностью сформирована и успешно функционирует на основе телекоммуникационного центра коллективного пользования ИММ УрО РАН (ТЦКП). ТЦКП создан для размещения облачных приложений, виртуальных серверов в рамках построения частного корпоративного облака УрО РАН, а также размещения научно-информационных сервисов.
Находящийся в составе ТЦКП маршрутизатор Cisco WS-C6506 используется для маршрутизации трафика сети УрО РАН во внешние сети, поддерживает BGP сессии с внешними провайдерами, обеспечивает защиту пользователей сети УрО РАН от сетевых вирусов и внешних атак, а также используется для сбора статистики по трафику в режиме реального времени и его анализа, мониторинга и устранения неполадок.
Институты УрО РАН в Екатеринбурге объединены высокоскоростной оптической линей связи с пропускной способностьью 10 Гб/с. Коммутатор Cisco 7609 с супервизором WS-SUP32-10GE-3B используется для коммутации трафика институтов и организации виртуальных локальных сетей (VLAN) для разграничения прав доступа к сетям этих институтов.
Коммутатор Cisco WS-C6503E используется для организации каналов связи по оптоволоконным линиям со скоростью до 10 Гбит/с между сетью УрО РАН и сетями провайдеров г. Екатеринбурга, а также поддерживает соединение с резервным каналом выхода в Интернет для сети УрО РАН.
Примеры предоставляемых сервисов:
телематический сервис (21 организация-пользователь);
система дистанционного доступа и запуска задач на СК «УРАН» (14 организаций);
система учета научных проектов, результатов и отчетов «ПРОЭКСПРЕСС» (12 организаций);
система учёта результатов научно-технической деятельности (система CRIS)» (3 организации);
система создания и сопровождения электронных журналов (5 организаций);
система электронных библиотек (5 организаций);
информационная система «Конференции» (15 организаций);
система проведения видеоконфереций с трансляцией в Интернет (8 организаций);
видеоархив УрО РАН (10 организаций);
портал самообслуживания, для создания виртуальных серверов институтами УрО РАН AppController (6 организаций);
система управления виртуальной средой и облачными сервисами УрО РАН (6 организаций);
электронная система «Центральная научная библиотека УрО РАН» (15 организаций).
Примеры решаемых задач:
разработана архитектура территориально-распределенной системы хранения данных среды высокопроизводительных вычислений УрО РАН на основе ГРИД-технологий и новых протоколов Интернета (Parallel NFS, WebDAV), а также механизмы подключения территориально-распределенной системы хранения данных к СК на основе совместного использования ГРИД-протоколов и стандартных протоколов Интернет.
разработана облачная технология решения задач теплопереноса, возникающих при эксплуатации инженерных систем в условиях вечной мерзлоты, предоставляющая соответствующие расчеты на СК «УРАН» как веб-сервис.
реализована обработка в реальном времени в Екатеринбурге на СК «УРАН» потока экспериментальных данных газо- и гидродинамических исследований, получаемых в Перми в ИМСС УрО РАН. Это позволило использовать ресурсоемкие, но высокоточные алгоритмы, избежать хранения гигантских объемов избыточной информации, обрабатывать измерения «на лету» и проводить эксперименты с обратной связью.
Важным аспектом создания облачной платформы является то, что она в значительной мере построена на основе уже имеющихся в СКЦ ИММ УрО РАН серверов. Эти серверы ранее входили в состав вычислительных кластеров, но сейчас уже не обладают необходимой вычислительной мощностью для проведения высокопроизводительных вычислений. При этом данные серверы исправны, пригодны к эксплуатации и могут использоваться для задач, не требующих высокой вычислительной мощности, в том числе для облачных вычислений. Таким образом, облачную платформу удалось создать без дополнительных затрат на оборудование.
В дальнейшем предполагается продолжить увеличение количества серверов облачной платформы с установкой дополнительных пакетов прикладных программ, интегрированных с СК.
Образовательная деятельность.
Подготовка специалистов по параллельным вычислениям и суперкомпьютерным технологиям ведется на базовой кафедре ИММ УрО РАН в Институте естественных наук и математики УрФУ и институте радиоэлектроники и информационных технологий – РТФ УрФУ. Ведется подготовка магистров направления «Математика и компьютерные науки» специализации «Параллельные вычисления» и «Системное программирование».
Занятия ведут сотрудники ИММ УрО РАН, имеющие большой практический опыт работы с технологиями параллельных вычислений, а также значительный опыт преподавательской деятельности.
Практические занятия проводятся с использованием вычислительных ресурсов СКЦ ИММ УрО РАН, в том числе СК «УРАН». Домашние задания студенты также выполняют на СК «УРАН» через Интернет. Таким образом, в процессе обучения студенты получают опыт работы с самой современной техникой для высокопроизводительных вычислений.
В учебном процессе используются ресурсы вычислительной облачной платформы. В качестве примера можно привести учебный курс «Параллельные вычисления в MATLAB», практические задания которого выполняются с использованием MATLAB из облачной платформы, интегрированным с СК «УРАН».
В целях повышения качества образования и получения самых современных учебных материалов ведется работа по выстраиванию взаимодействия с транснациональными корпорациями, производящими суперкомпьютерное оборудование. В подготовке специалистов участвуют и крупные российские компании. Например, совместно со Школой анализа данных Яндекс студентам УрФУ читается курс «Параллельные и распределенные вычисления», где, кроме классического подхода к параллельным вычислениям, рассматриваются вопросы распределенной обработки больших объемов данных (Big Data).
Направления дальнейшего развития
К настоящему моменту можно констатировать, что СКЦ ИММ УрО РАН предоставляет научной общественности Уральского региона вычислительные ресурсы мирового уровня, каковым является СК «УРАН». Ведутся работы по развитию распределенной ГРИД-инфраструктуры УрО РАН. Для повышения эффективности работы пользователей и удобства работы с СК создана вычислительная облачная платформа, в которой по модели SaaS предоставляются пакеты прикладных программ, интегрированные с СК. Подготовка специалистов по параллельным вычислениям организована совместно с УрФУ.
В дальнейшем для обеспечения научно-образовательного сообщества Уральского региона вычислительным инструментарием мирового уровня, отвечающим актуальным потребностям науки, образования и практики планируется:
дальнейшее развитие вычислительного ресурса, обеспечивающее присутствие в десятке самых мощных суперкомпьютеров СНГ TOP-50;
создание вычислительного ресурса, входящего в список самых мощных суперкомпьютеров в мире TOP-500;
развитие вычислительного ресурса, обеспечивающее уверенное и гарантированное пребывание в TOP-500;
структуризация и упорядочивание сервисов единых вычислительно-информационных пространств (в первую очередь УрО РАН и УрФУ);
вхождение в международную ГРИД-систему в качестве ресурсного центра по обработке и хранению больших объемов и массивов данных со скоростями обмена в десятки гигабит.
