Глава 7. Эксплуатация и обслуживание Ceph

sysvinit является традиционным, но все еще рекомендуемым способом управления демонами в системах на основе Red Hat, а также в некоторых более старых дистрибутивах на основе Debian/Ubuntu. Общий синтаксис управления демонами Ceph с использованием sysvinit выглядит следующим образом:

/etc/init.d/ceph [options] [command] [daemons]

Параметры (options) Ceph включают в себя:

Команды Ceph содержат:

Демоны Ceph включают в себя:

При выполнении задач администрирования вашего кластера, вам может понадобиться управлять службами Ceph по их типам. В данном разделе мы изучим как запускать демоны по их типам.

Для запуска демонов монитора Ceph на локальном хосте выполните Ceph с командой start:

# /etc/init.d/ceph start mon

Для запуска демонов монитора Ceph как на локальном хосте, так и на удаленных хостах выполните Ceph с командой start и параметром -a:

# /etc/init.d/ceph -a start mon

Параметр -a выполнит запрошенную операцию на всех узлах, отмеченных в файле ceph.conf. Давайте посмотрим на следующий снимок экрана:

[root@ceph-node1 ~]# /etc/init.d/ceph -a start mon
=== mon.ceph-node1 ===
Starting Ceph mon.ceph-node1 on ceph-node1...
Starting ceph-create-keys on ceph-node1...
=== mon.ceph-node2 ===
Starting Ceph mon.ceph-node2 on ceph-node2...
Starting ceph-create-keys on ceph-node2...
=== mon.ceph-node3 ===
Starting Ceph mon.ceph-node3 on ceph-node3...
Starting ceph-create-keys on ceph-node3...
[root@ceph-node1 ~]#

Аналогично вы можете запускать демоны других типов, например, osd и mds:

# /etc/init.d/ceph start osd
# /etc/init.d/ceph start mds

	Замечание
	Перед использованием параметра -a при запуске служб какого- либо типа, убедитесь, что ваш файл ceph.conf содержит все хосты Ceph, определенные здесь. Если параметр -a не используется, команда будет выполнена только на локальном хосте.

В данном разделе мы ознакомимся с остановом демонов по их типам.

Для останова демонов монитора Ceph на локальном хосте выполните Ceph с командой stop:

# /etc/init.d/ceph stop mon

Для останова демонов монитора Ceph на всех хостах выполните Ceph с командой stop и параметром -a:

# /etc/init.d/ceph -a stop mon

Параметр -a выполнит запрошенную операцию на всех узлах, отмеченных в файле ceph.conf. Давайте посмотрим на следующий снимок экрана:

[root@ceph-node1 ~]# /etc/init.d/ceph -a stop mon
=== mon.ceph-node3 ===
Stopping Ceph mon.ceph-node3 on ceph-node3...kill 9679...done
=== mon.ceph-node2 ===
Stopping Ceph mon.ceph-node2 on ceph-node2...kill 12758...done
=== mon.ceph-node1 ===
Stopping Ceph mon.ceph-node1 on ceph-node1...kill 12331...done
[root@ceph-node1 ~]#

Аналогично вы можете запускать демоны других типов, например, osd и mds:

# /etc/init.d/ceph stop osd
# /etc/init.d/ceph stop mds

	Предостережение
	Перед использованием параметра -a при запуске служб какого- либо типа, убедитесь, что ваш файл ceph.conf содержит все хосты Ceph, определенные здесь. Если хосты не определены в файле ceph.conf, команда будет выполнена только на локальном хосте.

Для запуска вашего кластера Ceph, выполните Ceph с командой start. Данная команда запустит все службы Ceph которые вы развернули для всех хостов, перечисленных в файле ceph.conf:

# /etc/init.d/ceph -a start

Для останова вашего кластера Ceph, выполните Ceph с командойstop. Данная команда остановит все службы Ceph которые вы развернули для всех хостов, перечисленных в файле ceph.conf:

# /etc/init.d/ceph -a stop

Для запуска определенного демона в вашем кластере Ceph, выполните Ceph с командой start и идентификатором (ID) демона:

# /etc/init.d/ceph start osd.0

Для проверки состояния определенного демона в вашем кластере Ceph выполните Ceph с командой status и идентификатором (ID) демона:

# /etc/init.d/ceph status osd.0

Для останова определенного демона в вашем кластере Ceph выполните Ceph с командой stop и идентификатором (ID) демона:

# /etc/init.d/ceph stop osd.0

Данный снимок экрана отображает вывод всех предыдущих команд:

[root@ceph-node1 -]# /etc/init.d/ceph start osd.0
=== osd.0 ===
create-or-move updated item name 'osd.0' weight 0.01 at location {host=ceph-node1,root=default} to crush map
Starting Ceph osd.0 on ceph-node1...
starting osd.0 at :/0 osd_data /var/lib/ceph/osd/ceph-0 /var/lib/ceph/osd/ceph-0/journal
[root@ceph-node1 ~]#
[root@ceph-node1 ~]# /etc/init.d/ceph status osd.0
=== osd.0 ===
osd.0: running {"version":"0.80.1"}
[root@ceph-node1 -]#
[root@ceph-node1 ~]# /etc/init.d/ceph stop osd.0
=== osd.O ===
Stopping Ceph osd.0 on ceph-node1...kill 20792...done
[root@ceph-node1 ~]#

Аналогично вы можете управлять определенными демонами osd и mds в вашем кластере Ceph.

Для запуска вашего кластера Ceph, выполните Ceph с командой start. Данная команда запустит все службы Ceph которые вы развернули для всех хостов, перечисленных в файле ceph.conf:

# service ceph -a start

Для останова вашего кластера Ceph, выполните Ceph с командойstop. Данная команда остановит все службы Ceph которые вы развернули для всех хостов, перечисленных в файле ceph.conf:

# service ceph -a stop

Для запуска определенного демона в вашем кластере Ceph, выполните Ceph с командой start и идентификатором (ID) демона:

# service ceph start osd.0

Для проверки состояния определенного демона в вашем кластере Ceph выполните Ceph с командой status и идентификатором (ID) демона:

# service ceph status osd.0

Для останова определенного демона в вашем кластере Ceph выполните Ceph с командой stop и идентификатором (ID) демона:

# service ceph stop osd.0

Данный снимок экрана отображает вывод всех предыдущих команд:

[root@ceph-node1 ~]# service ceph start osd.0
=== osd.0 ===
create-or-move updated item name 'osd.0' weight 0.01 at location {host=ceph-node1,root=default} to crush map
Starting ceph osd.0 on ceph-node1...
starting osd.O at :/0 osd_data /var/lib/ceph/osd/ceph-0 /var/lib/ceph/osd/ceph-0/journal
[root@ceph-node1 ~]#
[root@ceph-node1 ~]# service ceph status osd.0
=== osd.0 ===
osd.0: running {"version":"0.80.1"}
[root@ceph-node1 ~]#
[root@ceph-node1 ~]# service ceph stop osd.0
=== osd.0 ===
Stopping Ceph osd.0 on ceph-node1...kill 22435...done
[root@ceph-node1 ~]#

Добавление узлов OSD (устройств хранения объектов) в кластер Ceph является процессом реального времени. Чтобы продемонстрировать это нам понадобится новая виртуальная машина с именем ceph-node4 с тремя дисками; мы добавим этот узел в наш существующий кластер Ceph.

Создадим новый узел ceph-node4 стремя дисками (OSD). Вы можете повторить процесс создания новой виртуальной машины с дисками, настройки операционной системы и установки Ceph как это описано в Главе 2. Моментальное развертывание Ceph и в Главе 5. Развертывание Ceph - дорога, которую вы обязаны знать.

Когда у вас появится новый узел, готовый к добавлению в кластер Ceph, проверьте подробности Ceph OSD на текущий момент:

# ceph osd tree

Вот что вы должны получить в результате выполнения данной команды:

[root@ceph-node1 ceph]# ceph osd tree
# id    weight  type name       up/down reweight
-1      0.08995 root default
-2      0.02998         host ceph-node1
0       0.009995                        osd.O   up     1
1       0.009995                        osd.l   up     1
2       0.009995                        osd.2   up     1
-3      0.02998         host ceph-node2
3       0.009995                        osd.3   up     1
5       0.009995                        osd.5   up     1
4       0.009995                        osd.4   up     1
-4      0.02998         host ceph-node3
6       0.009995                        osd.6   up     1
7       0.009995                        osd.7   up     1
8       0.009995                        osd.8   up     1

[root@ceph-node1 ceph]#

Расширение кластера Ceph является интерактивным процессом и, чтобы продемонстрировать этот факт, мы выполним некоторые действия в нашем кластере Ceph; параллельно мы будем расширять кластер. В Главе 5. Развертывание Ceph - дорога, которую вы обязаны знать, мы развернули блочное устройство RADOS (Безотказное автономное распределенное хранилище объектов - Reliable Autonomic Distributed Object Store) на машине ceph-client1. Мы будем использовать эту же машину для создания операций обмена в нашем кластере Ceph. Убедимся, что ceph-client1 смонтировал RBD (блочное устройсто RADOS):

# df -h /mnt/ceph-vol1

[root@ceph-client1 ~]# df -h /mnt/ceph-vol1
Filesystem            Size  Used Avail Use% Mounted on
/dev/rbdO              10G   33M   10G   1% /mnt/ceph-vol1
[root@ceph-client1 ~]#

Зарегистрируемся на ceph-client1 с отдельного терминала cli и выведем список дисков, доступных для добавления в качестве OSD для ceph-node4. Машина ceph-node4 должна иметь установленный Ceph, а также скопированный на нее файл ceph.conf. Вы увидите три диска sdb, sdc и sdd в списке, выводимым в результате выполнения следующей команды:

# ceph-deploy disk list ceph-node4

Как уже отмечалось ранее, увеличение масштаба кластера Ceph является безшовным и интерактивным процессом. Чтобы показать это, мы создадим некоторую нагрузку на кластер и одновременно выполним операцию увеличения масштаба. Заметим, что это является необязательным шагом.

Убедимся что хост с работающей на нем средой VirtualBox имеет соответствующее дисковое пространство, поскольку мы будем записывать данные в кластер Ceph. Как только вы запустите создание трафика в наш кластер, запустите его расширение путем выполнения последующих шагов.

# dd if=/dev/zero of=/mnt/ceph-vol1/file1 count=10240 bs=1M

Переключитесь на терминал cli ceph-node1 и расширьте кластер путем добавления дисков ceph-node4 в качестве новых OSD Ceph:

# ceph-deploy disk zap ceph-node4:sdb ceph-node4:sdc ceph-node4:sdd
# ceph-deploy osd create ceph-node4:sdb c eph-node4:sdc ceph-node4:sdd

Во время выполнения добавления OSD вам следует отслеживать состояние вашего кластера Ceph из отдельного терминального окна. Вы заметите, что кластер Ceph выполняет операцию записи при одновременном увеличении масштаба свое емкости:

# watch ceph status

Наконец, когда добавление дисков ceph-node4 завершено, вы сможете проверить состояние своего кластера Ceph с применением предыдущей команды. Ниже приводится то, что вы увидите после выполнения этой команды:

[root@ceph-node1 /]# ceph status
    cluster 07a92ca3-347e-43db-87ee-e0a0a9f89e97
     health HEALTH_OK
     monmap e3: 3 mons at {ceph-node1=192.168.57.101:6789/0,ceph-node2=192.168.57.102:6789/0,
ceph-node3=192.168.57.103:6789/0}, election epoch 938, quorum 0,1,2 ceph-node1,ceph-node2,cep
h-node3
     mdsmap e61: 1/1/1 up {0=ceph-node2=up:active}
     osdmap e807: 12 osds: 12 up, 12 in
      pgmap v3998: 1472 pgs, 13 pools, 78568 kB data, 2687 objects
            828 MB used, 107 GB / 107 GB avail
                1472 active+clean
[root@ceph-node1 /]#

В данной точке если вы выведите список всех OSD, он даст вам лучшее понимание:

# ceph osd tree

Данная команды выводит некоторую ценную информацию, связанную с OSD, такую как вес OSD, а также какой узел Ceph содержит их. OSD, состояние OSD (рабочее/выключенное, up/down), а также состояние IN/OUT OSD представляются 1 или 0. Обратим внимание на следующий снимок экрана:

[root@ceph-node1 tmp]# ceph osd tree
# id    weight  type name       up/down reweight
-1      0.12    root default
-2      0.009995                host ceph-node1
0       0.009995                        osd.0    up      1
1       0.009995                        osd.l    up      1
2       0.009995                        osd.2    up      1
-3      0.03             host ceph-node2
3       0.009995                        osd.3    up      1
5       0.009995                        osd.5    up      1
4       0.009995                        osd.4    up      1
-4      0.03             host ceph-node3
6       0.009995                        osd.6    up      1
7       0.009995                        osd.7    up      1
8       0.009995                        osd.8    up      1
-5      0.04999          host ceph-node4
9       0.009995                        osd.9    up      1
10      0.009995                        osd.10   up      1
11      0.009995                        osd.11   up      1
[root@ceph-node1 tmp]#

Перед выполнением процесса сокращения размера кластера или уменьшения его масштаба необходимо удостовериться, что кластер имеет достаточно свободного пространства для размещения всех данных, расположенных на узле, который вы собираетесь удалить. Кластер не должен быть близок состоянию почти заполненного.

На узле ceph-node1 создайте некую нагрузку на кластер Ceph. Это необязательный шаг, призванный продемонстрировать выполнимость на лету операции уменьшения масштаба кластера Ceph. Убедитесь, что хост, поддерживающий среду VirtualBox имеет соответствующее дисковое пространство, поскольку мы будем записывать данные в кластер Ceph.

# dd if=/dev/zero of=/mnt/ceph-vol1/file1 count=3000 bs=1M

Поскольку нам необходимо уменьшить масштаб кластера, мы удалим ceph-node4 и все связанные с ним OSD (устройства хранения объектов) из нашего кластера. OSD Ceph должны быть настроены таким образом, чтобы Ceph мог выполнять восстановление данных. С любого из узлов Ceph выведите OSD из состава кластера:

# ceph osd out osd.9
# ceph osd out osd.10
# ceph osd out osd.11

[root@ceph-node1 /]# ceph osd out osd.9
marked out osd.9.
[root@ceph-node1 /]# ceph osd out osd.10
marked out osd.10.
[root@ceph-node1 /]# ceph osd out osd.11
marked out osd.11.

Как только вы отметите OSD находящимися вне кластера, Ceph запустит ребалансировку нашего кластера путем миграции групп размещения с OSD, которые мы вывели из состава кластера на другие OSD в пределах кластера. Состояние вашего кластера на какое- то время станет неисправным, однако он останется в состоянии обслуживать данные клиентов. В зависимости от числа удаленных OSD может возникнуть некий провал в производительности кластера пока не завершится время восстановления. Как только кластер станет вновь работоспособным, он долже заработать как прежде. Давайте взглянем на следующий снимок экрана:

[root@ceph-node1 /]# ceph -s
    cluster 07a92ca3-347e-43db-87ee-e0a0a9f89e97
     health HEALTH_WARN 517 pgs peering; 16 pgs recovering; 4 pgs recovery_wait; 363 pgs stuck
 inactive; 379 pgs stuck unclean; 43 requests are blocked > 32 sec; recovery 1401/5290 objects
 degraded (26.484%)
     monmap e3: 3 mons at {ceph-node1=192.168.57.101:6789/0,ceph-node2=192.168.57.102:6789/0,c
eph-node3=192.168.57.103:6789/0}, election epoch 938, quorum 0,1,2 ceph-node1,ceph-node2,ceph-
node3
     mdsmap e61: 1/1/1 up {0=ceph-node2=up:active}
     osdmap e824: 12 osds: 12 up, 9 in
     pgmap v4077: 1472 pgs, 13 pools, 161 MB data, 2618 objects
           748 MB used, 82095 MB / 82844 MB avail
           1401/5290 objects degraded (26.484%)
                437 inactive
                 10 active
                511 peering
                  4 active+recovery_wait
                487 active+clean
                 16 active+recovering
                  1 remapped
                  6 remapped+peering
recovery io 0 B/s, 52 objects/s
  client io 517 B/s rd, 78962 kB/s wr, 398 op/s
[root@ceph-node1 /]#

В предыдущем скриншоте вы можете увидеть что кластер находится в режиме восстановления, хотя в то же время он продолжает обслуживать данные клиентов. Вы можете наблюдать за процессом восстановления при помощи следующей команды:

# ceph -w

Поскольку мы отметили для вывода из состава кластера osd.9, osd.10 и osd.11, они не являются участниками кластера, однако их службы все еще работают. Наконец, зарегистрируйтесь на машине ceph-node4 и остановите службы OSD:

# service ceph stop osd.9
# service ceph stop osd.10
# service ceph stop osd.11

После выключения OSD проверьте дерево OSD, как это показано на следующем снимке экрана. Вы увидите, что соответствующие OSD выключены и выведены:

[root@ceph-node4 ~]# ceph osd tree
# id    weight  type name       up/down reweight
-1      0.12    root default
-2      0.009995                host ceph-node1
0       0.009995                        osd.O   up      1
1       0.009995                        osd.1   up      1
2       0.009995                        osd.2   up      1
-3      0.03            host ceph-node2
3       0.009995                        osd.3   up      1
5       0.009995                        osd.5   up      1
4       0.009995                        osd.4   up      1
-4      0.03            host ceph-node3
6       0.009995                        osd.6   up      1
7       0.009995                        osd.7   up      1
8       0.009995                        osd.8   up      1
-5      0.04999         host ceph-node4
9       0.009995                        osd.9   down    0
10      0.009995                        osd.10  down    0
11      0.009995                        osd.11  down    0
[root@ceph-node4 ~]#

Локализация CRUSH является метоположением OSD в карте CRUSH. Например, организация с названием mona-labs.com имеет кластер с местоположением osd.156, которое располагается в хосте ceph-node15. Этот хост физически представляет chassis-3, которое установлено в rack-16, являющемся частью room-2 и datacentre-1-north-FI

Такой osd.156 будет частью карты CRUSH, как это показано на следующем рисунке:

На предыдущем рисунке ключи показаны с левой стороны от =; они также называются типами CRUSH. Карта по умолчанию содержит root, datacentre, room, row, pod, pdu, rack, chassis и host. Не обязательно использовать все типы CRUSH при определении карты CRUSH, однако используемые типы CRUSH должны быть допустимыми, иначе вы можете получить ошибки компиляции. CRUSH является достаточно гибким; вы даже можете определять ваши собственные типы и использовать их в картах CRUSH по-своему.

Чтобы понять что находится внутри карты CRUSH, мы должны извлечь ее и декомпилировать в человеко- читаемую форму для легкого редактирования. На этом этапе мы можем выполнить все необходимые изменения в карте CRUSH и, чтобы изменения вступили в силу, мы должны скомпилировать и внедрить ее назад в кластер Ceph. Изменения в кластере Ceph, выполняемые такой новой картой CRUSH, т.е. как только новая карта CRUSH внедрена в кластер Ceph, изменения имеют эффект немедленно, на лету. Теперь мы взглянем на карту CRUSH нашего кластера Ceph который мы развернули в данном руководстве.

Извлечем карту CRUSH из любого нашего узла монитора:

# ceph osd getcrushmap -o crushmap_compiled_file

Когда мы получим карту CRUSH, декомпилируем ее чтобы сделать ее человечески читаемой и редактируемой:

# crushtool -d crushmap_compiled_file -o crushmap_decompiled_file

Начиная с этого момента файл выдачи, crushmap_decompiled_file, может просматриваться/ редактироваться в предпочитаемом вами редакторе.

В следующем разделе мы изучим как выполнять изменения в карте CRUSH.

После внесения необходимых изменений вам следует скомпилировать изменения с параметром команды -c

# crushtool -c crushmap_decompiled_file -o newcrushmap

Наконец, внедрим заново скомпилированную карту CRUSH в кластер Ceph с параметром команды

# ceph osd setcrushmap -i newcrushmap

Файл карты CRUSH содержит четыре раздела; они следующие: