Глава 10. Ещё о Ceph

Воспользовавшись именем вашего демона Ceph:

$ sudo ceph daemon {daemon-name} {option}
	   

Используя абсолютный путь к файлу сокета; его местоположение по умолчанию такое: /var/run/ceph:

$ sudo ceph daemon {absolute path to socket file} {option}
	   

Чтобы изменить установки osd_recovery_threads на ceph tell выполните:

ceph tell osd.0 injectargs '--osd_recovery_threads=2'
	   

Чтобы изменить те же установки для всех OSD по всему вашему кластеру, выполните:

ceph tell osd.* injectargs '--osd_recovery_threads=2'
	   

Также вы можете изменять множество установок в одной строке:

ceph tell osd.* injectargs '--osd_recovery_max_active=1 --osd_recovery_max_single_start=1 --osd_recovery_op_priority=50'
	   

Создайте в своём кластере Ceph пользователя client.restapi с соответствующим доступом к mon, osd и mds:

# ceph auth get-or-create client.restapi mds 'allow' osd 'allow *' mon 'allow *' > /etc/ceph/ceph.client.restapi.keyring
	   

Добавьте в свой файл ceph.conf следующий раздел:

[client.restapi]
log file = /var/log/ceph/ceph.restapi.log
keyring = /etc/ceph/ceph.client.restapi.keyring
	   

Выполните следующую команду для запуска ceph-rest-api в качестве отдельного веб-сервера в фоновом режиме:

# nohup ceph-rest-api > /var/log/ceph-rest-api &> /var/log/cephrest-api-error.log &
	   

	Замечание
	Вы также можете выполнить ceph-rest-api без его продвижения, подавляя его в фоновый режим.

ceph-rest-api теперь должен прослушивать по адресу 0.0.0.0:5000; выполните curl чтобы запросить ceph-rest-api жизнеспособность вашего кластера:

# curl localhost:5000/api/v0.1/health
	   

Аналогично проверьте состояние osd и mon через rest-api Чтобы изменить установки osd_recovery_threads на ceph tell выполните:

# curl localhost:5000/api/v0.1/osd/stat
# curl localhost:5000/api/v0.1/mon/stat

	[root@ceph-node1 ~]# nohup ceph-rest-api > /var/log/ceph-rest-api &> /var/log/ceph-rest-api-error.log & 
	[1] 3334321 
	[root@ceph-node1 ~]# 
	[root@ceph-node1 ~]# curl localhost:5000/api/v0.1/health 
	HEALTH_OK 
	[root@ceph-node1 ~]# 
	[root@ceph-node1 ~]# curl localhost:5000/api/v0.1/osd/stat 
	     osdmap e989: 9 olds: 9 up, 9 in 
	[root@ceph-node1 ~]# 
	[root@ceph-node1 ~]# curl localhost:5000/api/v0.1/mon/stat 
	e5: 3 mons at {ceph-node1.192.168.1.101:6789/0,ceph-node2=192.168.1.102:6789/0,ceph-node3=192.168.1.103:6789 /0}, election epoch 3648, quorum 0,1,2 ceph-node1,ceph-node2,ceph-node3 
	[root@ceph-node1 ~]# 
	   

ceph-rest-api поддерживает большинство команд CLI Ceph. Чтобы проверить перечень доступных ceph-rest-api команд выполните:

# curl localhost:5000/api/v0.1
	   

	Замечание
	Эта команда вернёт результаты в формате HTML; вам будет лучше зайти через свой веб- браузер на localhost:5000/api/v0.1 для выстраивания вашего HTML в читаемый вид.

Запустите профилировщик памяти для определённого демона:

# ceph tell osd.0 heap start_profiler
	   

	Замечание
	Для автоматического запуска профилировщика при старте этого демона OSD ceph установите соответствующее значение переменной окружения CEPH_HEAP_PROFILER_INIT=true.

Неплохо будет оставить профилировщик работающим на несколько часов чтобы он смог по возможности собрать как можно больше информации, относящейся к отпечаткам памяти. В это же время вы можете создать некоторую нагрузку на свой кластер.

Далее выведите статистики кучи о собранных профилировщиком отпечатках памяти:

# ceph tell osd.0 heap stats

	[root@ceph-node1 ~]# ceph tell osd.0 heap start_profiler 
	osd.0 started profiler 
	[root@ceph-node1 ~]# 
	[root@ceph-node1 ~]# ceph tell osd.0 heap stats 
	osd.0 tcmalloc heap stats:------------------------------------------------
	MALLOC:      238029520 (  227.0 MiB) Bytes in use by application 
	MALLOC: +            0 (    0.0 MiB) Bytes in page heap freelist
	MALLOC: +     13789912 (   13.2 MiB) Bytes in central cache freelist
	MALLOC: +      4454720 (    4.2 MiB) Bytes in transfer cache freelist
	MALLOC: +     28537112 (   27.2 MiB) Bytes in thread cache freelists
	MALLOC: +      2863264 (    2.7 MiB) Bytes in malloc metadata
	MALLOC:   ------------
	MALLOC: =    287674528 (  274.3 MiB) Actual memory used (physical + swap)
	MALLOC: +      2031616 (    1.9 MiB) Bytes released to OS (aka unmapped)
	MALLOC:   ------------
	MALLOC:      289706144 (  276.3 MiB) Virtual address space used
	MALLOC: 
	MALLOC:          13148              Spans in use
	MALLOC:            424              Thread heaps in use
	MALLOC:           8192              Tcmalloc page size 
	------------------------------------------------
	Call ReleaseFreeMemory() to release freelist memory to the OS (via madvise()). 
	Bytes released to the OS take up virtual address space but no physical memory. 
	[root@ceph-node1 ~]# 
	   

Вы также можете сделать дамп статистик кучи в файл, который может быть использован позже; по умолчанию он создаётся в файле дампа /var/log/ceph/osd.0.profile.0001.heap:

# ceph tell osd.0 heap dump

	[root@ceph-node1 ~]# ceph tell osd.0 heap dump 
	osd.0 dumping heap profile now. 
	------------------------------------------------
	MALLOC:      238031808 (  227.0 MiB) Bytes in use by application
	MALLOC: +            0 (    0.0 MiB) Bytes in page heap freelist
	MALLOC: +     13589456 (   13.0 MiB) Bytes in central cache freelist
	MALLOC: +      4258112 (    4.1 MiB) Bytes in transfer cache freelist
	MALLOC: +     28964656 (   27.6 MiB) Bytes in thread cache freelists
	MALLOC: +      2863264 (    2.7 MiB) Bytes in malloc metadata
	MALLOC:   ------------
	MALLOC: =    287707296 (  274.4 MiB) Actual memory used (physical + swap)
	MALLOC: +      1998848 (    1.9 MiB) Bytes released to OS (aka unmapped)
	MALLOC:   ------------
	MALLOC: =    289706144 (  276.3 MiB) Virtual address space used
	MALLOC: 
	MALLOC:          13152              Spans in use
	MALLOC:            424              Thread heaps in use
	MALLOC:           8192              Tcmalloc page size 
	------------------------------------------------
	Call ReleaseFreeMemory() to release freelist memory to the OS (via madvise()). 
	Bytes released to the OS take up virtual address space but no physical memory. 
	[root@ceph-node1 ~]# 
	   

Чтобы прочитать этот файл дампа вам понадобится google-perftools:

# yum install -y google-perftools
	   

Для просмотра журналов профайлера:

# pprof --text {path-to-daemon} {log-path/filename}
# pprof --text /usr/bin/ceph-osd /var/log/ceph/osd.0.profile.0001.heap
	   

Для гранулированного сравнения сгенерируйте несколько файлов дампов профайлера для одного и того жедемона и примените инструмент профайлера Google для их сравнения:

# pprof --text --base /var/log/ceph/osd.0.profile.0001.heap /usr/bin/ceph-osd /var/log/ceph/osd.0.profile.0002.heap
	   

Освободите память, которую выделил TCMALLOC, однако она не используется Ceph:

# ceph tell osd.0 heap release
	   

По завершению остановите профайлер:

# ceph tell osd.0 heap stop_profiler
	   

Применить модуль ceph-ansible для первого запуска нескольких виртуальных машин с применением Vagrent и VirtualBox/VMware, а затем установить и настроить Ceph с помощью Ansible.

Применить модуль ceph-ansible для установки и настройки кластера Ceph с применением сборников сценариев Ansible на машинах голого железа.

На своей машине хоста VirtualBox клонируйте Git самый последний модуль ceph-ansible:

$ git clone https://github.com/ceph/ceph-ansible.git
$ cd ceph-ansible
	   

ceph-ansible использует Vagrant. Для этой цели он поставляется вместе с Vagrantfile, который сообщает Vagrant как раскручивать ВМ. Этот файл требует некоторых переменных, которые определены в другом файле: vagrant_variables.yml. Модуль ceph-ansible приходит с vagrant_variables.yml.sample, который может быть использован напрямую с минимальными изменениями:

$ cp vagrant_variables.yml.sample vagrant_variables.yml
	   

Настройки по умолчанию для Vagrant определены в vagrant_variables.yml и тоже достаточно хороши. Если вы пожелаете, вы можете подстроить конфигурацию отредактировав этот файл. Поскольку это тестовый кластер, мы уменьшим число мониторов с 3 до 1 изменив переменную mon_vms на значение 1.

Модуль ceph-ansible принуждает Vagrant использовать Ansible как своего снабженца; для этой цели скопируйте файл site.yml.sample под именем site.yml в ту же иерархию:

$ cp site.yml.sample site.yml
	   

Наконец, мы выполним vagrant up, который запустит 4 ВМ (1 монитор Ceph и 3 OSD Ceph), а после этого он запустит установку и развёртывание Ceph при помощи инструмента управления настройкой, Ansible:

$ vagrant up
	   

Предоставление ВМ и развёртывание Ceph займут несколько минут; после завершения вы должны увидеть примерно вот это:

	PLAY RECAP ******************************************************************** 
	mon0                     : ok=82   changed=15   unreachable=0    failed=0 
	osd0                     : ok=67   changed=9    unreachable=0    failed=0 
	osdl                     : ok=67   changed=9    unreachable=0    failed=0 
	osd2                     : ok=67   changed=9    unreachable=0    failed=0 

	   

После успешного завершения вы закончите с работающим кластером Ceph, установленным и настроенным при помощи Ansible. Зарегистрируйтесь на своём узле mon0 и проверьте состояние вашего кластера:

$ vagrant ssh mon0
$ sudo ceph -s

	vagrant@ceph-mon0:-$ sudo ceph -s 
	    cluster 4a158d27-f750-41d5-9e7f-26ce4c9d2d45 
	     health HEALTH_OK 
	     monmap el: 1 mons at {ceph-mon0=192.168.42.10:6789/0} 
	            election epoch 2, quorum 0 ceph-mon0 
	     mdsmap e2: 0/0/1 up 
	     osdmap e21: 6 osds: 6 up, 6 in 
	            flags sortbitwise 
	      pgmap v27: 320 pgs, 3 pools, 0 bytes data, 0 objects 
	            212 MB used, 65121 MB / 65333 MB avail 
	                 320 active+clean 
	vagrant@ceph-mon0:-S 
	   

Найдите незавершённую группу размещения в вашем кластере Ceph. Примените следующую команду и получите идентификатор вашей PG и её наборы действия:

# ceph health detail | grep incomplete
	   

С помощью действующего набора определите местоположение хоста OSD:

# ceph osd find <osd_number>
	   

Зарегистрируйтесь на этом узле OSD и остановите OSD с которым вы собираетесь работать:

# service ceph stop <osd_ID>
	   

Для идентификации ваших объектов в пределах OSD выполните следующее. Инструмент выдаст все объекты безотносительно от их групп размещения:

# ceph-objectstore-tool --data-path </path/to/osd> --journal-path </path/to/journal> --op list
	   

Чтобы идентифицировать ваш объект внутри группы размещения выполните:

# ceph-objectstore-tool --data-path >/path/to/osd> --journal-path >/path/to/journal> --pgid <pgid> --op list
	   

Для вывода перчня групп размещения, хранящихся на некоем OSD выполните:

# ceph-objectstore-tool --data-path </path/to/osd> --journal-path </path/to/journal> --op list-pgs
	   

Если вы знаете идентификатор объекта который вы ищете, задайте его для определения идентификатора его PG:

# ceph-objectstore-tool --data-path </path/to/osd> --journal-path </path/to/journal> --op list <object-id>
	   

Извлеките информацию об определённой группе размещения:

# ceph-objectstore-tool --data-path </path/to/osd> --journal-path </path/to/journal> --pgid <pg-id> --op info
	   

Извлеките журнал операций в группе размещения:

# ceph-objectstore-tool --data-path </path/to/osd> --journal-path </path/to/journal> --pgid <pg-id> --op log
	   

Для удаления группы размещения выполните следующую команду:

# ceph-objectstore-tool --data-path </path/to/osd> --journal-path </path/to/journal> --pgid <pg-id> --op remove
	   

Для экспорта группы размещения в файл выполните следующую команду:

# ceph-objectstore-tool --data-path </path/to/osd> --journal-path </path/to/journal> --pgid <pg-id> --file /path/to/file --op export
	   

Для импорта группы размещения из файла выполните следующую команду:

# ceph-objectstore-tool --data-path </path/to/osd> --journal-path </path/to/journal> --file </path/to/file> --op import
	   

OSD может иметь объект, помеченный как "lost". Для вывода списка "lost" или "unfound" объектов выполните:

# ceph-objectstore-tool --data-path </path/to/osd> --journal-path </path/to/journal> --op list-lost
	   

Чтобы найти объекты помеченный как потерянные для отдельной группы размещения определите pgid:

# ceph-objectstore-tool --data-path </path/to/osd> --journal-path </path/to/journal> --pgid <pgid> --op list-lost
	   

Инструмент ceph-objectstore-tool специально используется для фиксации ваших PG утраченных объектов. OSD может иметь объекты, помеченные как "lost". Для удаления этих объектов из группы размещения выполните:

# ceph-objectstore-tool --data-path </path/to/osd> --journal-path </path/to/journal> --op fix-lost
	   

Для фиксации потерянных объектов в определённой группе размещения определите pgid:

# ceph-objectstore-tool --data-path </path/to/osd> --journal-path </path/to/journal> --pgid <pg-id> --op fix-lost
	   

Если вы уверены в подлинности потерянного объекта, который вы хотите фиксировать, определите идентификатор этого объекта:

# ceph-objectstore-tool --data-path </path/to/osd> --journal-path </path/to/journal> --op fix-lost <object-id>
	   

--data-path: путь к вашему OSD

--journal-path: путь к вашему журналу

--op: операция

--pgid: идентификатор группы размещения

--skip-journal-replay: применяйте в случае разрушения вашего журнала

--skip-mount-omap: применяйте когда ваш leveldb хранимых данных разрушен и не может быть смонтирован

--file: путь к вашему файлу, применяется с операцией импорта/ экспорта