Эталонное тестирование Verbs
Данный раздел описывает как применять комплект эталонного тестирования perftest для наилучшего измерения производительности RDMA/verbs в архитектуре Intel® Omni-Path.
Perftest является эталонным тестом с открытым исходным кодом от OFED для производительности глаголов. Это набор миниатюрных эталонных тестов, написанных поверх глаголов пользовательского уровня для замеров латентности , а также пропускной способности в одном- или в двух- направлениях.
наилучшим perftest для измерения производительности полосы пропускания глаголов RDMA является тест ib_write_bw
с определённым по умолчанию типом соединения Reliable Connection
. Для ознакомления доступных вариантов
использования выполните, пожалуйста, ib_write_bw -h
. Последующее обсуждение затрагивает пути оптимизации
для данного теста ib_write_bw
, однако оно также применимо и к прочим эталонным тестам Perftest.
Размер MTU имеет существенное воздействие на производительность полосы пропускания. Для размеров сообщений большего размера, таких как 1 МБ, чем больше установленный размер MTU, тем выше получаемая в результате полоса пропускания. Однако, для сообщений с малым размеров, таким как 6Б, большие значения MTU не являются оптимальными. Таким образом, выбор значения оптимального размера MTU зависит от конкретного замеса размеров сообщений приложения.
InfiniBand* поддерживает размеры MTU равными только 256Б, 512Б, 1024Б, 2048Б и 4096Б. С другой стороны, OPA может поддерживать размеры MTU от 2048Б (2k) вплоть до 8192Б (8kB) для обмена глаголов. Для запросов RDMA с 8 кБ и выше Intel рекомендует применять MTU 8КБ.
Чтобы выбрать в тесте ib_write_bw
MTU 8кБ:
-
Для подключения пар очередей (QM, Queue Pairs)
rdma_cm
следует определить переключатель-R
. -
Для определения нужного вам интерфейса IPoIB примените значение адреса для порта
ib0
узла вашего сервера.
Прежде чем воспользоваться значением пути rdma_cm
для QP, необходимо загрузить свой драйвер ib_ipoib.
Вот последовательность установок драйвера и исполнения обсуждаемого теста ib_write_bw
:
-
sudo modprobe ib_ipoib
-
sudo ifup ib0
-
ib_write_bw –F –R –s 1048576 // на узле сервера
-
ib_write_bw –F –R –s 1048576 <server’s IPoIB address> // на узле клиента
Переключатель -F
используется для предотвращения падений теста при применении модуля
cpufreq_ondemand. Для получения дополнительных сведений обратитесь к разделу Драйверы
масштабирования частоты ЦПУ.