Программы MPI поверх PSM2 (либо программы или ПО промежуточного уровня с применением API глаголов) применяет механизм SDMA для своей отправки больших сообщений. Имеющиеся аппаратные средства предоставляют 16 SDMA механизмов для отправки больших сообщений. Эти аппаратные средства предоставляют 16 механизмов и имеющийся драйвер хоста распределяет все процессы MPI по этим механизмам SDMA для чередования всей работы. Имеющийся драйвер хоста hfi1 устанавливает манипулятора прерываниями для обработки исполнениями SDMA и сохранения имеющихся аппаратных очередей SDMA заполненными отложенными работами SDMA. Данный драйвер осуществляет выбор сродства для таких обработчиков во время инициализации драйвера. Данный раздел описывает как осуществляются эти выборы и как они могут оказывать воздействие. Отметим, что некоторые нюансы могут отличаться от одного выпуска программного обеспечения к другому. Приводимые далее подробности действуют для выпуском программного обеспечения от V10.0 вплоть до V10.4.

Общее чило механизмов SDMA (по умолчанию 16), которые могцт применяться для имеющегося драйвера хоста могут изменяться при помощи параметра модуля num_sdma:

parm:         num_sdma:Set max number SDMA engines to use (uint)
 	   

Общее число VL, которые применяются, является параметром диспетчера инфраструктуры (см. opafm.xml). Для определения общего числа включённых VL можно воспользоваться opaportinfo. Приводимый далее вывод отображает что используется один VL данных (VL0), в то время как все прочие VL данных (за исключением VL15) имеют значения MTU настроенными на 0 байт. Это достаточно распространённая конфигурация:

MTU  Supported: (0x7) 10240 bytes
MTU  Active By VL:
00:10240 01:    0 02:    0 03:    0 04:    0 05:    0 06:    0 07:    0
08:    0 09:    0 10:    0 11:    0 12:    0 13:    0 14:    0 15: 2048
16:    0 17:    0 18:    0 19:    0 20:    0 21:    0 22:    0 23:    0
24:    0 25:    0 26:    0 27:    0 28:    0 29:    0 30:    0 31:    0
		

Общее число механизмов SDMA поверх общего числа VL настраивает разделы данного драйвера. Например, распределённые по одному VL 16 механизмов SDMA означают, что все механизмы SDMA могут использоваться этим VL.

Для идентификации определённого механизма SDMA сродству номера ЦПУ могут применяться два метода:

 

Метод 1

# for i in `grep "hfi1_.* sdma" /proc/interrupts | awk '{print $NF}'` ; \
do printf "%s " $i ; irq=`awk "(\\\$NF == \"$i\") \
{print substr(\\\$1,1,length(\\\$1)-1)}" < /proc/interrupts` ; \
cat /proc/irq/$irq/smp_affinity_list ; done
		

Результаты:

sdma0 3
sdma1 4
sdma2 5
sdma3 6
sdma4 7
sdma5 8
sdma6 9
sdma7 10
sdma8 11
sdma9 12
sdma10 13
sdma11 0
sdma12 3
sdma13 4
sdma14 5
sdma15 6
		

По существу этот сценарий находит все номера прерываний в /proc/interrupts, которые используются механизмами SDMA hfi1, а затем перехватывается их настройка сродства в /proc/irq/$irq/smp_affinity_list.

 

Метод 2

Альтернативный метод определения назначений конкретного сродства для механизмов SDMA (который может не работать во всех системах):

# dmesg | grep hfi1 | grep IRQ
		

Результаты:

[ 165.513884] hfi1 0000:05:00.0: hfi1_0: IRQ vector: 74, type GENERAL -> cpu: 0
[ 165.521955] hfi1 0000:05:00.0: hfi1_0: IRQ vector: 75, type SDMA engine 0 -> cpu: 3
[ 165.530510] hfi1 0000:05:00.0: hfi1_0: IRQ vector: 76, type SDMA engine 1 -> cpu: 4
[ 165.539066] hfi1 0000:05:00.0: hfi1_0: IRQ vector: 77, type SDMA engine 2 -> cpu: 5
[ 165.547627] hfi1 0000:05:00.0: hfi1_0: IRQ vector: 78, type SDMA engine 3 -> cpu: 6
[ 165.556183] hfi1 0000:05:00.0: hfi1_0: IRQ vector: 79, type SDMA engine 4 -> cpu: 7
[ 165.564743] hfi1 0000:05:00.0: hfi1_0: IRQ vector: 80, type SDMA engine 5 -> cpu: 8
[ 165.573316] hfi1 0000:05:00.0: hfi1_0: IRQ vector: 81, type SDMA engine 6 -> cpu: 9
[ 165.581887] hfi1 0000:05:00.0: hfi1_0: IRQ vector: 82, type SDMA engine 7 -> cpu: 10
[ 165.590541] hfi1 0000:05:00.0: hfi1_0: IRQ vector: 83, type SDMA engine 8 -> cpu: 11
[ 165.599196] hfi1 0000:05:00.0: hfi1_0: IRQ vector: 84, type SDMA engine 9 -> cpu: 12
[ 165.607849] hfi1 0000:05:00.0: hfi1_0: IRQ vector: 85, type SDMA engine 10 -> cpu: 13
[ 165.616601] hfi1 0000:05:00.0: hfi1_0: IRQ vector: 86, type SDMA engine 11 -> cpu: 3
[ 165.625256] hfi1 0000:05:00.0: hfi1_0: IRQ vector: 87, type SDMA engine 12 -> cpu: 4
[ 165.633928] hfi1 0000:05:00.0: hfi1_0: IRQ vector: 88, type SDMA engine 13 -> cpu: 5
[ 165.642582] hfi1 0000:05:00.0: hfi1_0: IRQ vector: 89, type SDMA engine 14 -> cpu: 6
[ 165.651235] hfi1 0000:05:00.0: hfi1_0: IRQ vector: 90, type SDMA engine 15 -> cpu: 7
[ 165.659981] hfi1 0000:05:00.0: hfi1_0: IRQ vector: 91, type RCVCTXT ctxt 0 -> cpu: 0
[ 165.668726] hfi1 0000:05:00.0: hfi1_0: IRQ vector: 92, type RCVCTXT ctxt 1 -> cpu: 1
[ 165.677476] hfi1 0000:05:00.0: hfi1_0: IRQ vector: 93, type RCVCTXT ctxt 2 -> cpu: 2
		

В этом случае соответствующие механизмы SDMA назначаются драйвером данного хоста ядрам ЦПУ начиная с 3 ядра и обёртываются вокруг начиная с ядра ЦПУ 13 до ядра ЦПУ 0. Заметим, что ядра ЦПУ 1 и 2 пропускаются приэтом назначении. основная причина состоит в том, что они были назначены для "очередей приёма ядра" (kernel receive queues, т.е для получения контекста), которые применяются для обработки входящих пакетов Глаголов, что очевидно из самых последних 2 строк в выводе этого Метода 2. Общее число очередей приёма ядра, устанавливаемое по умолчанию, равно 2, однако оно может быть изменено с помощью такого параметра модуля krcvqs:

parm:           krcvqs:Array of the number of non-control kernel receive queues by VL (array of uint)
		

Отметим, что если вывод сценария Метода 1 указывает некий диапазон ЦПУ, аналогичный приводимому ниже выводу, тогда скорее всего служба irqbalance не работает правильно и её необходимо перезапустить:

sdma0 0-13
sdma1 0-13
sdma2 0-13
sdma3 0-13
sdma4 0-13
sdma5 0-13
sdma6 0-13
sdma7 0-13
sdma8 0-13
sdma9 0-13
sdma10 0-13
sdma11 0-13
sdma12 0-13
sdma13 0-13
sdma14 0-13
sdma15 0-13