, Настройка производительности инфраструктуры Intel Omni-Path. Руководство пользователя. Rev.10.0

Настройка производительности инфраструктуры Intel® Omni-Path. Руководство пользователя.

Intel®

Rev.10.0

Октябрь 2017

Order No.: H93143-10.0

 История выпусков

Для получения самой последней документации пройдите по ссылке https://www.intel.com/content/www/us/en/support/articles/000016242/network-and-i-o/fabric-products.html.

 
Дата Выпуск Описание

Октябрь 2017

10.0

Обновления в данном документе содержат:

Август 2017

9.0

Обновления в данном документе содержат:

Май 2017

8.0

Обновления в данном документе содержат:

Апрель 2017

7.0

Обновления в данном документе содержат:

Декабрь 2016

6.0

Обновления в данном документе содержат:

  • Обновлён заголовок книги, включив в себя инфрастуктура (Fabric)

  • Добавлен новый раздел Cluster Configurator for Intel Omni-Path Fabric to Preface

  • Обновлён Performance Tuning Checklist

  • Обновлён Intel® Xeon Phi™ x200 Product Family

  • Обновлён Tuning for LS-DYNA* Performance

  • Добавлен новый раздел Tuning for MPI Performance on Nodes with Intel® Xeon Phi™ x200 Product Family

  • Добавлен новый раздел Tuning for Improved 1 KB to 8 KB Message Bandwidth at High Processes per Node

  • Обновлён IPoFabric Datagram (UD) Mode Configuration

  • Добавлен новый раздел TCP Parameter Tuning for IPoFabric Performance

  • Обновлён Driver IRQ Affinity Assignments

Август 2016

5.0

Обновления в данном документе содержат:

  • Добавлен раздел 8 Driver IRQ Affinity Assignments

  • Добавлен раздел 2.2 Next-GenerationIntel® Xeon Phi™ Processor Family

  • Дано объяснение как сделать изменения параметров драйвера чтобы ввести в действие параметры из A.3 Setting HFI1 Driver Parameters

  • Добавлен раздел 4.4 Tuning for LS-DYNA* Performance

Мая 2016

4.0

Обновления в данном документе содержат:

  • Обновлён заголовок книги, включив в себя инфрастуктура (Fabric)

  • Раздел Приложения перемещён в новый раздел 4, HFI1 Driver Module Parameters. Все последующие разделы соответствующим образом увеличены в нумерации.

  • Обновлён MPI Performance

  • Реорганизованы разделы с большим сосредоточением на процедурах

Апрель 2016

3.0

Обновления в данном документе содержат:

  • Совмещён раздел 3.2 Platform Settings and Section 3.3 Avoid acpi_pad Consuming CPU Resources в 3.2.2 Using the ACPI CPUfreq Driver and cpupower Governor

  • Добавлен раздел 3.2.1 Using the Intel® P-State Driver

  • Обновлён раздел 4.1 Intel® MPI Library Settings

  • Добавлен раздел 4.3 Tuning for MPI Performance on Nodes with Intel® Xeon Phi™ CPUs

  • Добавлен раздел 5.2 Parallel File System Concurrency Improvement

  • Добавлен раздел 5.3 Lustre Parameter Tuning for Intel Omni-Path

  • Добавлен раздел 7.2 IPoFabric Datagram (UD) Mode Configuration

  • Обновлены параметры в разделе Section A.1 Listing the Driver Parameters and A.2 Current Values of Module Parameters

  • Дано объяснение примера в A.3 Setting HFI1 Driver Parameters

Февраль 2016

2.0

Обновления в данном документе содержат:

  • Улучшен стиль изложения в разделах 3.2 Platform Settings и 5.1 irqbalance

Ноябрь 2015

1.0

Документ был обновлён

 Содержание

Предисловие
История выпусков
Целевая аудитория
Библиотека документации Intel® Omni-Path
Конфигуратор кластера для инфраструктуры Intel® Omni-Path
Принятые в документации соглашения
Лицензионные соглашения
Техническая поддержка
Введение
Используемые термины
Перечень настроек производительности
Установки BIOS
Семейства Intel® Xeon® Processor E5 v3 и v4
Процессоры Intel® Xeon® Scalable
Процессоры Intel® Xeon Phi™ x200
Установки Linux
irqbalance
Драйверы масштабирования частоты ЦПУ
Применение драйвера Intel P-State
Применение драйвера ACPI CPUfreq и управляющего устройства cpupower
Переключение на драйвер Intel P-State для исполнения определённых инструментов FastFabric
Не включайте intel_iommu
Прозрачность Huge Pages
Обработка фрагментации памяти
Параметры модуля драйвера HFI1
Вывод списка параметров драйвера
Текущие значения параметров модуля
Установка параметров драйвера HFI1
Производительность MPI
Установки библиотеки Intel® MPI
Intel® MPI 2017: новая поддержка OFI как инфраструктуры
Эталонное тестирование Intel® или OSU Micro
Тюнинг производительности High-Performance Linpack
Ожидаемые уровни производительности
Выбор исполняемых модулей HPL и MPI
Флаги MPI и соответствующие параметры/ синтаксис задания
Файл исходных данных HPL.dat
Рекомендуемая процедура достижения наилучшего результата HPL
Тюнинг производительности приложений MPI
Тюнинг производительности MPI в узлах с продуктами семейства Intel® Xeon Phi™ x200
Руководства коллективного масштабирования MPI для больших кластеров
Установка параметров драйвера для продуктов семейства Intel® Xeon Phi™ x200
Тюнинг улучшения полосы пропускания сообщений от 1 до 8 кБ в дорогостоящих процессах узла
Тюнинг улучшения производительности в приложениях QCD
Тюнинг GPUDirect* RDMA для эталонного тестирования и приложений MPI
Системные установки для производительности Verbs
Ускорение RDMA
Улучшение одновременного исполнения параллельной файловой системы
Lustre
Тюнинг IBM Spectrum Scale (ранее GPFS) для Intel® OmniPath
Эталонное тестирование Verbs
Perftest
Производительность RDMA
Производительность IPoFabric
Настройка режима соединений IPoFabric
Настройка режима датаграмм IPoFabric
Тюнинг RPS и GSO для производительности IPoFabric
Тюнинг RPS для узлов процессора Intel® Xeon®
Тюнинг RPS и GSO для узлов семейства продукции Intel® Xeon Phi™ x200
Тюнинг параметра TCP для производительности IPoFabric
qperf
iperf
Назначение взаимозависимости IRQ драйвера
Установка соответствия процессов MPI механизмам SDMA

 Предисловие

Данное руководство является частью из всего набора документации для инфраструктуры Intel® Omni-Path Fabric (Intel® OP Fabric), которая является всеобъемлющим решением , состоящим из интерфейсов инфраструктуры хоста (HFI, Host Fabric Interfaces ) Intel® Omni-Path, коммутаторов Intel® Omni-Path, а также управления инфраструктурой и инструментов разработки.

Intel® OP Fabric предоставляет платформу для следующего поколения систем Высокопроизводительных вычислений (HPC, High-Performance Computing), которая разработана для эффективного в отношении стоимости соответствия необходимым требованиям масштаба, плотности и надёжности HPC кластеров крупного масштаба.

Как

Intel® OP Fabric, так и стандартный InfiniBand* способны выполнять отправку обмена Протокола сетевого уровня (IP, Internet Protocol) поверх имеющейся инфраструктуры, или IPoFabric. В данном документе, однако, он именуется как IP over IB или IPoIB. С точки зрения программного обеспечения IPoFabric и IPoIB ведут себя аналогично и, на самом деле, применяют один и тот же драйвер ib_ipoib для отправки обмена IP в имеющиеся порты ib0 или ib1.

 Целевая аудитория

Целевой аудиторией для всего набора документации Intel® Omni-Path (Intel® OP) являются сетевые администраторы и прочий квалифицированный персонал.

 Библиотека документации Intel® Omni-Path

Публикации Intel® Omni-Path доступны по следующим URL:

Для поиска нужного вам документа воспользуйтесь задачами, перечисленными в следующей таблице:

 
Задача Заглавие документа Описание
Пояснения:

Цвет фона означает что данный URL следует применять для доступа к такому определённому документу:

Intel® Omni-Path Switches Installation, User, and Reference Guides: http://www.intel.com/omnipath/SwitchPublications (серый - Gray)

Software Installation, User, and Reference Guides (включая документацию HFI) http://www.intel.com/omnipath/FabricSoftwarePublications (нет фона)

Драйверы и программное обеспечение (включая замечания относительно выпусков) http://www.intel.com/omnipath/Downloads (светло серый - LightGray)

Использование набора документации Intel® OPA

Intel® Omni-Path Fabric Quick Start Guide

Дорожная карта всеобъемлющей библиотеки публикаций Intel, описывающая все аспекты семейств продуктов. В ней излагаются основные шаги для установки и приведения в рабочее состояние вашей архитектуры Intel® Omni-Path (Intel® OPA - Omni-Path Architecture)

Установка кластера Intel® OPA

Intel® Omni-Path Fabric Setup Guide

Предоставляет общий обзор шагов необходимых для организации индивидуальной установки Intel® Omni-Path Fabric. Процедуры и основные справочные документы, такие как руководства пользователя Intel® Omni-Path и руководства по установке, предназначены для разъяснения процесса. Определяются дополнительные команды и BKM для облегчения процесса установки и устранения неполадок.

Установка оборудования

Intel® Omni-Path Fabric Switches Hardware Installation Guide

Описывает установку оборудования и первоначальные задачи настройки для коммутаторов серии Omni-Path 100. Включает в себя: интерфейсные коммутаторы Intel® Omni-Path Edge 100, 24 и 48-портовые настраиваемые пограничные коммутаторы и коммутаторы класса серии Intel® Omni-Path Switch Series 100.

Intel® Omni-Path Host Fabric Interface Installation Guide

Содержит инструкции по установке HFI в кластере OPA Intel®. Кластер определяется как набор узлов, каждый из которых привязан к структуре через интерконнекта Intel. Intel® HFI использует коммутаторы и кабели Intel® Omni-Path.

Установка программного обеспечения хоста

Установка firmware HFI

Установка firmware коммутатора (управляемых извне коммутаторов)

Intel® Omni-Path Fabric Software Installation Guide

Описывает использование текстового пользовательского интерфейса (TUI) для руководства процессом установки. У вас есть возможность применять команды интерфейса командной строки (CLI) для выполнения установки или установки с использованием программного обеспечения для дистрибутива Linux*.

Управление коммутатором при помощи Chassis Viewer GUI

Установка firmware коммутатора (управляемые коммутаторы)

Intel® Omni-Path Fabric Switches GUI Guide

Описывает графический пользовательский интерфейс Intel® Omni-Path Fabric Chassis Viewer (GUI). Он предоставляет ориентированные на задачи процедуры настройки и управления семейством коммутаторов Intel® OmniPath.

Помощь: интерактивная справка по графическому интерфейсу.

Управление коммутатором при помощи CLI

Установка firmware коммутатора (управляемые коммутаторы)

Intel® Omni-Path Fabric Switches Command Line Interface Reference Guide

Описывает информацию задач интерфейса командной строки (CLI) для семейства коммутаторов Intel® Omni-Path.

Помощь: -help для каждого CLI.

Управление инфраструктурой через FastFabric

Intel® Omni-Path Fabric Suite FastFabric User Guide (объединена с Intel® Omni-Path Fabric Suite FastFabric Command Line Interface Reference Guide

Предоставляет инструкции по использованию набора инструментов управления сетью, предназначенных для упрощения и оптимизации общих задач управления сетью. Средства управления состоят из команд TUI и команд интерфейса командной строки (CLI).

Помощь: -help и man-страницы для каждой CLI. Кроме того, все команды консоли CLI могут быть доступны в консоли в графическом интерфейсе Fabric Manager.

Управление инфраструктурой через Fabric Manager

Intel® Omni-Path Fabric Suite Fabric Manager User Guide

Диспетчер инфраструктуры использует хорошо определённый протокол управления для взаимодействия с агентами управления в каждом Intel® Omni-Path интерфейсе хоста (HFI) и в каждом коммутаторе. Через эти интерфейсы Диспетчер инфраструктуры может обнаруживать, настраивать и контролировать имеющуюся инфраструктуру.

Intel® Omni-Path Fabric Suite Fabric Manager GUI User Guide

Предоставляет интуитивно понятную, масштабируемую панель инструментов и набор инструментов анализа для графического мониторинга состояния и конфигурации инфраструктуры. Это удобная альтернатива традиционным инструментам командной строки для ежедневного мониторинга состояния инфраструктуры.

Помощь: интерактивная справка по графическому интерфейсу Диспетчера инфраструктуры.

Настройка и администрирование драйвера Intel® HFI и IPoIB, исполняющего приложения MPI в Intel® OPA

Intel® Omni-Path Fabric Host Software User Guide

Описывает, как настраивать и администрировать интерфейс хоста (HFI) после установки программного обеспечения. Аудитория для этого документа включает в себя как администраторов кластеров, так и программистов приложений для интерфейса обмена сообщениями (MPI), которые имеют различные, но совпадающие интересы относительно подробностей данной технологии.

Написание и исполнение ПО промежуточного уровня, которое применяет Intel® OPA

Intel® Performance Scaled Messaging 2 (PSM2) Programmer's Guide

Предоставляет ссылочную информацию для программистов, работающих с интерфейсом программирования приложений(API) Intel® PSM2. Этот API обмена сообщениями с масштабируемой производительностью (PSM2 API, Performance Scaled Messaging 2) является интерфейсом взаимодействия нижнего уровня в пространстве пользователя.

Оптимизация производительности системы

ntel® Omni-Path Fabric Performance Tuning User Guide

Описывает настройки и параметры BIOS, которые были представлены для обеспечения максимальной производительности или для придания большей согласованности производительности с архитектурой Intel® Omni-Path. Если вы заинтересованы в эталонном тестировании производительности вашей системы, эти советы помогут вам получить наилучшую производительность.

Проектирование маршрутизатора IP и хранилища в Intel® OPA

Intel® Omni-Path IP and Storage Router Design Guide

Описывает как устанавливать, настраивать и администрировать маршрутизатор IPoIB (Linux* IP или LNet) для взаимодействия между Intel® Omni-Path и наследуемой инфраструктурой InfiniBand*.

Построение сервера Lustre* поверх Intel® OPA

Building Lustre* Servers with Intel® Omni-Path Architecture Application Note

Описывает шаги по созданию и тестированию системы Luster* (MGS, MDT, MDS, OSS, OST, клиент) на основе главного направления HPDD на машинах x86_64, RHEL*/ CentOS* 7.1.

Построение контейнеров для инфраструктуры Intel® OPA

Building Containers for Intel® OmniPath Fabrics using Docker* and Singularity* Application Note

Предоставляет основную информацию для создания и запуска контейнеров Docker* и Singularity* в компьютерных платформах на базе Linux*, которые содержат сетевые технологии Intel® Omni-Path.

Написание приложений управления, которые взаимодействуют с Intel® OPA

Intel® Omni-Path Management API Programmer’s Guide

Содержит справочную информацию для программистов, работающих с интерфейсом прикладного программирования (API) архитектуры управления Intel® Omni-Path (Intel OPAMGT, Omni-Path Architecture Management). API Intel OPAMGT является C-API, делающим возможными внутриполосные и внеполосные запросы администратора подсети и администратора производительности.

Изучение свойств выпусков, открытых проблем и разрешение проблем для определённых реализаций

Intel® Omni-Path Fabric Software Release Notes

Intel® Omni-Path Fabric Manager GUI Release Notes

Intel® Omni-Path Fabric Switches Release Notes (в том числе управляемые и управляемые извне коммутаторы)

 Конфигуратор кластера для инфраструктуры Intel® Omni-Path

Cluster Configurator для инфраструктуры Intel® Omni-Path доступен по ссылке: http://www.intel.com/content/www/us/en/high-performance-computing-fabrics/omni-pathconfigurator.html.

Этот инструментарий создаёт простые конфигурации кластера на основе ключевых атрибутов кластера, в том числе, путём одновременного сопоставления до четырёх конфигураций кластера. Этот инструментарий также создаёт перечни комплектующих и планы кластеров.

 Принятые в документации соглашения

Следующие соглашения являются стандартными для документации Intel® Omni-Path:

  • Замечание: предоставляет дополнительную информацию

  • Предостережение: указывает на наличие опасности, которая может нанести ущерб данным или оборудованию

  • Предупреждение: указывает на наличие опасности, которая может привести к индивидуальному повреждению

  • Обозначенный голубым шрифтом текст указывает на гиперссылку (прыжок) к рисунку, таблице, или выбору в данном руководстве. Ссылки на вебсайты также показаны голубым, например:

    Лицензионные соглашения на странице 12 для получения дополнительной информации.

    Для получения дополнительной информации посетите www.intel.com.

    {Прим. пер.: В данном переводе вместо голубого цвета применяется именно та схема, которая использована во всех предыдущих ссылках.}

  • Выделенный жирным шрифт указывает элементы пользовательского интерфейса, такие как элементы меню, кнопки, флаговые блоки, названия ключей, ввод с клавиатуры или заголовки колонок. Примеры:

    Кликните по кнопке Start, укажите на Programs, укажите на Accessories, а затем кликните по Command Prompt.

    Нажмите CTRL+P, а затем нажмите клавишу UP ARROW.

  • Выделенный шрифтом Courier текст указывает название файла, путь каталога или текст командной строки. Например:

    Введите слеующую команду:sh ./install.bin

  • Выделенный курсивом текст указывает на термин, выделение, переменные или заголовки документа. К примеру:

    За дополнительными подробностями обратитесь к Intel® Omni-Path Fabric Software Installation Guide for details.

    В данном документе термином шасси обозначается коммутатор.

Процедуры или информация могут быть помечены одним из следующих описателей:

  • (Linux) - Задачи применимы только при использовании Linux*.

  • (Host) - Задачи применимы только когда в этом хосте применяются Intel® Omni-Path Fabric Host Software или Intel® Omni-Path Fabric Suite.

  • (Switch) - Задачи применимы только при использовании коммутаторов и шасси Intel® Omni-Path.

  • Задачи, применимые ко всем средам никак не отмечаются.

 Лицензионные соглашения

Это программное обеспечение предоставляется по одному или нескольким лицензионным соглашениям. Пожалуйста, обратитесь к лицензионному соглашению (соглашениям), предоставленному с программным обеспечением, для получения подробной информации. Не устанавливайте и не используйте программное обеспечение, пока вы внимательно не прочитаете и не согласитесь с условиями лицензионного соглашения (соглашений). При загрузке или использовании программного обеспечения вы соглашаетесь с условиями лицензионного соглашения (соглашений). Если вы не согласны с этим, не устанавливайте и не используйте данное программное обеспечение.

 Техническая поддержка

Техническая поддержка для продуктов Intel® Omni-Path доступна 24 часа в день, 365 дней в году. Контактируйте, пожалуйста, с Intel Customer Support или посетите http://www.intel.com/omnipath/support за получением дополнительных подробностей.