Дополнение D. Как создать контейнер Docker с ускорением RDMA приложений поверх сетевой среды 100Gb InfiniBand

В своей справке мы будем вставлять 1й порт в коммутатор Infiniband и не будем применять 2й порт.

В нашей установке мы будем применять два сервера.

Каждый сервер будет подключён к коммутатору SB7700 медным кабелем 100Gb IB. Порты коммутатора в нашем случае обвязываются так:

Названия серверов и настройки сетевой среды таковы:

Таблица D-1. Сетевая среда примера

Тип сервера	Название сервера	IP NICs
		внутренняя сеть	внешняя сеть
Server 01	clx-mld-41	ib0: 12.12.12.41	eno1: из DHCP (зарезервировано)
Server 02	clx-mld-42	ib0: 12.12.12.42	eno1: из DHCP (зарезервировано)

 

Обновление программных пакетов Ubuntu

Для обновления/ модернизации пакетов программного обеспечения Ubuntu выполните приведённые ниже команды.

    $ sudo apt-get update # Опросить список доступных обновлений
    $ sudo apt-get upgrade -y # Обновление текущих пакетов в строгом соответствии

		

 

Включение диспетчера подсетей в коммутаторе IB

Для знакомства с программным обеспечением коммутатора обратитесь к Руководству пользователя MLNX-OS. Прежде чем применять свой коммутатор Mellanox, мы рекомендуем вам обновить этот коммутатор до самой последней версии MLNX-OS. Существует три варианта для выбора наилучшего места для расположения SM (диспетчера подсетей, Subnet Manager):

Мы будем давать пояснения только для вариантов 1 и 2.

Вариант 1: Настройка SM в коммутаторе MLNX-OS® любых систем коммутации Mellanox

Для включения SM выполните следующие шаги:

Для сохранения настроек (на постоянной основе) выполните:

    switch (config) # configuration write
 	   

Вариант 2: Настройка SM в сервере (пропустите эту процедуру если вы настроили SM в коммутаторе)

Для запуска OpenSM в некотором сервере просто исполните opensm в командной строке в своём узле управления выполнив:

    # opensm
 	   

Или: запускайте OpenSM автоматически на своём головном узле изменив свой файл /etc/opensm/opensm.conf. Создайте такой файл настроек выполнив:

    # opensm –config /etc/opensm/opensm.conf
 	   

Замените в файле /etc/opensm/opensm.conf следующую строку:

    onboot=yes
 	   

В процессе начальной установки OpenSM конфигурируется и запускается с алгоритмом маршрутизации по умолчанию. При исполнении кластера толстого дерева со множеством уровней рекомендуется изменить следующие параметры чтобы создать наиболее действенный алгоритм маршрутизации, доставляющий наивысшую производительность:

    –routing_engine=updn
 	   

Для ознакомления со всеми подробностями того как настраивать атрибуты OpenSM ознакомьтесь с главой OpenSM – Subnet Manager Руководства пользователя Mellanox OFED для Linux.

 

Установка Mellanox OFED для Ubuntu в качестве хоста

Данная глава описывает как установить и проверить пакет Mellanox OFED для Linux в некой отдельной машине хоста с установленной картой адаптера Mellanox ConnectX®-5. Для получения дополнительных сведений отсылаем вас к Mellanox OFED for Linux User Manual.

 

Выгрузка Mellanox OFED

 

Установка Mellanox OFED

MLNX_OFED устанавливается путём запуска сценария mlnxofedinstall. Этот сценарий исполнения выполняет следующее:

Данный сценарий установки удаляет все установленные ранее пакеты OFED Mellanox и повторно выполняет установку с нуля. Вы можете получить запрос на подтверждение удаления всех старых пакетов.

 

Деинсталяция старых версий

Для выполнения деинсталляции старых верссий мы рекомендуем применить такую команду:

	$ sudo apt-get remove docker docker-engine docker.io
 	   

В случае успеха apt-get выдаст отчёт что никакие из этих пакетов не установлены.

Само содержимое /var/lib/docker/, включая образы, контейнеры, тома и сетевые среды сохраняются.

 

Установка Docker CE

Для Ubuntu 16.04 и последующих версий, само ядро Linuxсодержит поддержку для OverlayFS, а Docker CE по умолчанию будет применять драйвер хранилища overlay2.

 

Установка с применением репозитория

Прежде чем вам устанавливать Docker CE пв самый первый раз в новой машине хоста вам понадобится установить репозиторий Docker. Впоследствии вы можете устанавливать и обновлять Docker из этого репозитория.

 

Настройка самого репозитория

 

Установка Docker CE

Установите самую последнюю версию Docker CE или перейдите к следующему шагу чтобы установить некую определённую версию. Заменяются все существующие установки Docker.

	$ sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
	$ sudo apt-get update
	$ sudo apt-get install docker-ce
 	   

 

Персонализация моста docker0

Рекомендуемым методом настройки самого демона Docker является применение его файла daemon.json, который расположен в /etc/docker/. Если такой файл не существует, создайте его. Вы можете определить одну или более следующих установок для настройки устанавливаемого по умолчанию сетевого моста:

	{
	"bip": "172.16.41.1/24",
	"fixed-cidr": "172.16.41.0/24",
	"mtu": 1500,
	"dns": ["8.8.8.8","8.8.4.4"]
	} 
 	   

Те же самые параметры представлены в виде флагов для dockerd с пояснениями для каждого:

После внесения изменений в файл daemon.json перезапустите Docker/

	$ sudo /etc/init.d/docker restart
 	   

{Прим. пер.: при использовании docker-compose сетевые настройки моста по умолчанию хранятся в docker-compose.yml, подробнее в Compose file version 3 reference и далее, >ipv4_address, ipv6_address, или Docker compose example using default 'bridge' network.}

 

Настройка взаимодействия с внешним миром

Проверьте ip перенаправления в ядре:

    $ sysctl net.ipv4.conf.all.forwarding
    net.ipv4.conf.all.forwarding = 1
 	   

если он запрещён,

    $ sysctl net.ipv4.conf.all.forwarding
    net.ipv4.conf.all.forwarding = 0
 	   

будьте добры, разрешите его и проверьте снова:

	$ sysctl net.ipv4.conf.all.forwarding=1
 	   

По причинам безопасности Docker настраивает правила iptables чтобы предотвращать обмен контейнеров с внешним миром с самой хост машины в хостах Linux. Docker настраивает значения политики по умолчанию цепочки FORWARD в DROP.

Для перекрытия поведения значений по умолчанию вы можете вручную изменить значение политики по умолчанию:

	$ sudo iptables -P FORWARD ACCEPT
 	   

 

Добавление маршрута IP с определённой подсетью

Добавьте маршрутизацию для сетевой среды контейнеров во втором хосте:

	$ sudo ip route add 172.16.42.0/24 via 12.12.12.42 
 	   

 

Быстрая проверка

Предоставьте своей среде быструю проверку запуска чтобы убедиться в верности всех ваших настроек:

	$ docker run hello-world
 	   

 

Вариант 1

Вытаскивание необходимого образа из Docker Hub и запуск некого контейнера Docker в привилегированном режиме из удалённого репозитория при помощи:

	$ sudo docker run -it --privileged --name=mnlx-verbs-prvlg mellanox/mofed421_docker:latest bash
 	   

 

Вариант 2

Вытаскивание необходимого образа из Docker Hub и запуск некого контейнера Docker в не привилегированном режиме из удалённого репозитория при помощи:

	$ sudo docker run -it --cap-add=IPC_LOCK --device=/dev/infiniband/uverbs1 --name=mnlx-verbs-nonprvlg mellanox/mofed421_docker:latest bash
 	   

 

Вариант 3

Docker способен собирать образы автоматически считывая соответствующие инструкции из Dockerfile.

Некий Dockerfile является текстовым документом, который содержит все команды, которые пользователь может вызывать в своей командной строке для сборки некого образа {Прим. пер.: подробнее в Тонкая настройка нашего образа Rail}.

 

Dockerfile

    # В качестве родительского образа воспользуйтесь официальным Ubuntu 16.04
    FROM ubuntu:16.04
    MAINTAINER YOUR NAME <your@real.mail>
    # Установите каталог MOFED рабочим каталогом и каталогом образа
    ENV MOFED_DIR MLNX_OFED_LINUX-4.2-1.0.0.0-ubuntu16.04-x86_64
    ENV MOFED_SITE_PLACE MLNX_OFED-4.2-1.0.0.0
    ENV MOFED_IMAGE MLNX_OFED_LINUX-4.2-1.0.0.0-ubuntu16.04-x86_64.tgz
    WORKDIR /tmp/
    # Подхватите некие зависимости MOFED
    RUN apt-get update && apt-get install -y --no-install-recommends \
    wget \
    net-tools \
    ethtool \
    perl \
    lsb-release \
    iproute2 \
    pciutils \
    libnl-route-3-200 \
    kmod \
    libnuma1 \
    lsof \
    linux-headers-4.4.0-92-generic \
    python-libxml2 && \
    rm -rf /var/lib/apt/lists/*
    # Выгрузите и установите Mellanox OFED 4.2.1 для Ubuntu 16.04
    RUN wget http://content.mellanox.com/ofed/${MOFED_SITE_PLACE}/${MOFED_IMAGE} && \
    tar -xzvf ${MOFED_IMAGE} && \
    ${MOFED_DIR}/mlnxofedinstall --user-space-only --without-fw-update --all -q && \
    cd .. && \
    rm -rf ${MOFED_DIR} && \
    rm -rf *.tgz
 	   

 

Образ Docker и запуск контейнера

Проверьте перемещённую версию и uverbs:

Выполните стресс- тест пропускной способности поверх IB в контейнере:

	Сервер:
	ib_write_bw -a -d mlx5_1 &
	Клиент:
	ib_write_bw -a -F $server_IP -d mlx5_1 --report_gbits
		

Таким образом вы можете запустить нагрузочную проверку пропускной способности поверх IB между контейнерами.

И это всё.