Эталонное тестирование Verbs

Данный раздел описывает как применять комплект эталонного тестирования perftest для наилучшего измерения производительности RDMA/verbs в архитектуре Intel® Omni-Path.

Perftest

Perftest является эталонным тестом с открытым исходным кодом от OFED для производительности глаголов. Это набор миниатюрных эталонных тестов, написанных поверх глаголов пользовательского уровня для замеров латентности , а также пропускной способности в одном- или в двух- направлениях.

Производительность RDMA

наилучшим perftest для измерения производительности полосы пропускания глаголов RDMA является тест ib_write_bw с определённым по умолчанию типом соединения Reliable Connection. Для ознакомления доступных вариантов использования выполните, пожалуйста, ib_write_bw -h. Последующее обсуждение затрагивает пути оптимизации для данного теста ib_write_bw, однако оно также применимо и к прочим эталонным тестам Perftest.

Размер MTU имеет существенное воздействие на производительность полосы пропускания. Для размеров сообщений большего размера, таких как 1 МБ, чем больше установленный размер MTU, тем выше получаемая в результате полоса пропускания. Однако, для сообщений с малым размеров, таким как 6Б, большие значения MTU не являются оптимальными. Таким образом, выбор значения оптимального размера MTU зависит от конкретного замеса размеров сообщений приложения.

InfiniBand* поддерживает размеры MTU равными только 256Б, 512Б, 1024Б, 2048Б и 4096Б. С другой стороны, OPA может поддерживать размеры MTU от 2048Б (2k) вплоть до 8192Б (8kB) для обмена глаголов. Для запросов RDMA с 8 кБ и выше Intel рекомендует применять MTU 8КБ.

Чтобы выбрать в тесте ib_write_bw MTU 8кБ:

  1. Для подключения пар очередей (QM, Queue Pairs) rdma_cm следует определить переключатель -R.

  2. Для определения нужного вам интерфейса IPoIB примените значение адреса для порта ib0 узла вашего сервера.

Прежде чем воспользоваться значением пути rdma_cm для QP, необходимо загрузить свой драйвер ib_ipoib. Вот последовательность установок драйвера и исполнения обсуждаемого теста ib_write_bw:

  1. sudo modprobe ib_ipoib

  2. sudo ifup ib0

  3. ib_write_bw –F –R –s 1048576 // на узле сервера

  4. ib_write_bw –F –R –s 1048576 <server’s IPoIB address> // на узле клиента

Переключатель -F используется для предотвращения падений теста при применении модуля cpufreq_ondemand. Для получения дополнительных сведений обратитесь к разделу Драйверы масштабирования частоты ЦПУ.