Глава 2. Работа с блочными устройствами Ceph

Из каталога, в который мы клонировали ceph-cookbook git repository, запустим клиентскую машину с помощью Vagrant:

$ vagrant status client-node1
$ vagrant up client-node1

	HOST:ceph-cookbook ksinghS vagrant status client-node1 
	Current machine states: 
	
	client-node1              not created (virtualbox)
	
	The environment has not yet been created. Run `vagrant up` to 
	create the environment. If a machine is not created, only the 
	default provider will be shown. so if a provider is not listed, 
	then the machine is not created for that environment. 
	HOST:ceph-cookbook ksinghS vagrant up client-node1 
	Bringing machine 'client-node1' up with 'virtualhox' provider... 
	==> client-node1: Importing base box 'ubuntu/trusty64'... 
	==> client-node1: Matching MAC address for NAT networking... 
	==> client-node1: Checking if box 'ubuntu/trusty64' is up to date... 
	==> client-node1: setting the name of the vm: client-node1
 	   

Зарегистрируйтесь на ceph-node1:

$ vagrant ssh client-node1
 	   

	Замечание
	Имя и пароль которые Vagrant применяет для настройки виртуальной машины vagrant и Vagrant имеет права sudo. Пароль по умолчанию для пользователя root установлен в vagrant.

Проверьте редакции ОС и ядра (это не является обязательным):

$ lsb_release -a
$ uname -r
 	   

Убедитесь что RBD поддерживается ядром:

$ sudo modprobe rbd

	vagrant@client-node1:~$ lsb_release -a 
	No LSB modules are available. 
	Distributor ID: Ubuntu 
	Description: Ubuntu 14.04.2 LTS 
	Release: 14.04 
	Codename: trusty 
	vagrant@client-node1:~$ 
	vagrant@client-node1:~$ uname -r 
	3.13.0-46-generic 
	vagrant@client-node1:~$ 
	vagrant@client-node1:~$ sudo modprobe rbd 
	vagrant@client-node1:~$ echo $? 
	0 
	vagrant@client-node1:~$ 
 	   

Разрешите доступ машины монитора ceph-node1 к client-node1 через ssh. Для этого скопируйте ключи ssh root с ceph-node1 на client-node1 пользователя Vagrant. Выполните следующие команды на машине ceph-node1 если не предписано другого:

## Login to ceph-node1 machine
$ vagrant ssh ceph-node1
$ sudo su -
# ssh-copy-id vagrant@client-node1
 	   

Предоставьте одноразовый пароль пользователя Vagrant, т.е. vagrant для ceph-node1. Когда ключи ssh скопированы с ceph-node1 на client-node1, вы должны получить возможность регистрироваться на client-node1 без пароля.

Для установки исполняемых файлов Ceph на client-node1 выполните ceph-deploy на ceph-node1:

# cd /etc/ceph
# ceph-deploy --username vagrant install client-node1

	[root@client-node1 ceph]# ceph-deploy --username vagrant install client-node1 
	[ceph_deploy.conf][DEBUG ] found configuration file at: /root/.cephdeploy.conf 
	[ceph_deploy.cli][INFO ] Invoked (1.5.22): /bin/ceph-deploy --username vagrant install client-node1 
	[ceph_deploy.install][DEBUG ] Installing stable version giant on cluster ceph hosts client-node1 
	[ceph_deploy.install][DEBUG ] Detecting platform for host client-node1 
	[client-node1][DEBUG ] connection detected need for sudo 
	[client-node1][DEBUG ] connected to host: vagrant@client-node1 
	[client-node1][DEBUG ] detect platform information from remote host 
	[client-node1][DEBUG ] detect machine type 
	[ceph_deploy.install][INFO ] Distro info: ubuntu 14.04 trusty 
	[client-node1][INFO ] installing ceph on client-node1 
 	   

Скопируйте файл настроек (ceph.conf) на client-node1:

# ceph-deploy --username vagrant config push client-node1
 	   

Клиентской машине требуется ключ Ceph для доступа к кластеру Ceph. Ceph создёт пользователя по умолчанию, client.admin, который имеет полный доступ к кластеру Ceph. Не рекомендуется применять ключ client.admin совместно на клиентских узлах. Лучшим решением будет создать нового пользователя Ceph с отдельным ключом и разрешить его доступ к определённым пулам Ceph.

В нашем случае мы создадим пользователя Ceph client.rbd с правом доступа к пулу rbd. По умолчанию, блочные устройства Ceph создаются в пуле rbd:

# ceph auth get-or-create client.rbd mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=rbd'

	[root@ceph-node1 ceph]# ceph auth get-or-create client.rbd mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=rbd' 
	[client.rbd] 
	        key = AQCLEg5VeAbGARAAE4ULXC7M$Fwd3BGFDiHRTw== 
	[root@client-node1 ceph]# 
 	   

Добавьте ключ на машине client-node1 для пользователя client.rbd:

# ceph auth get-or-create client.rbd | ssh vagrant@client-node1 sudo tee /etc/ceph/ceph.client.rbd.keyring

	[root@client-node1 ceph]# ceph auth get-or-create client.rbd | ssh vagrant@client-node1 sudo tee /etc/ceph/ceph.client.rbd.keyring 
	[client.rbd] 
	        key = AQCLEg5VeAbGARAAE4ULXC7M$Fwd3BGFDiHRTw== 
	[root@client-node1 ceph]# 
 	   

На данном этапе client-node1 должен быть готов к работе в качестве клиента Ceph. Проверьте состояние на машине client-node1 предоставив имя пользователя и ключ безопасности:

$ vagrant ssh client-node1
$ sudo su -
# cat /etc/ceph/ceph.client.rbd.keyring >> /etc/ceph/keyring
### Since we are not using the default user client.admin we need
to supply username that will connect to Ceph cluster.
# ceph -s --name client.rbd

	root@client-node1:~# ceph -s --name client.rbd 
	    cluster 9609b429-eee2-4e23-af31-28a24fcf5cbc 
		health HEALTH_OK 
		monmap e3: 3 mons at {ceph-node1=192.168.1.101:6789/0,ceph-node2=192.168.1.102:6789/0, ceph-node3=192.168.1.103:6789/0}, election epoch 82, quorum 0,1,2 ceph-node1,ceph-node2,cep h-node3 
		osdmap e142: 9 osds: 9 up, 9 in 
		 pgmap v378: 180 pgs, 1 pools, 0 bytes data, 0 objects 
		       322 MB used, 134 GB / 134 GB avail 
	                180 active+clean 
	root@client-node1:~# 
 	   

Создайте блочное устройство RADOS с именем rbd1 и размером 10240МБ:

# rbd create rbd1 --size 10240 --name client.rbd
 	   

Существует множество вариантов отображения списка образов RBD:

## The default pool to store block device images is "rbd", you can
also specify the pool name with the rbd command using -p option:
# rbd ls --name client.rbd
# rbd ls -p rbd --name client.rbd
# rbd list --name client.rbd
 	   

Осмотрите подробности образа rbd:

# rbd --image rbd1 info --name client.rbd

	root@client-node1:~# rbd create rbdl --size 10240 --name client.rbd 
	root@client-node1:~# rbd is --name client.rbd 
	rbdl 
	root@client-node1:~# rbd --image rbdl info --name client.rbd 
	rbd image 'rbdl': 
	        size 10240 MB in 2560 objects 
	        order 22 (4096 kB objects) 
	        block_name_prefix: rb.0.14f1.238e1f29 
	        format: 1 
	root@client-node1:~# 
 	   

Отобразите ваше блочное устройство на client-node1:

# rbd map --image rbd1 --name client.rbd
 	   

Проверьте отображённое блочное устройство:

# rbd showmapped --name client.rbd

	root@client-node1:~# rbd map --image rbdl --name client.rbd /dev/rbdl 
	root@client-node1:—# rbd showmapped --name client.rbd 
	id pool image snap device 
	1  rbd  rbdl  -    /dev/rbdl 
	root@client-node1:~# 
 	   

Чтобы воспользоваться этим блочным устройством, нам следует создать на нём файловую систему и смонтировать её:

# fdisk -l /dev/rbd1
# mkfs.xfs /dev/rbd1
# mkdir /mnt/ceph-disk1
# mount /dev/rbd1 /mnt/ceph-disk1
# df -h /mnt/ceph-disk1

	root@client-node1:~# df -h /mnt/ceph-diskl 
	Filesystem      Size  Used Avail Use% Mounted on 
	/dev/rbdl        10G   33M   10G   1% /mnt/ceph-diskl 
	root@client-node1:~# 
 	   

Проверьте блочное устройство записав на него данные:

# dd if=/dev/zero of=/mnt/ceph-disk1/file1 count=100 bs=1M

	root@client-node1:~# dd if=/dev/zero of=/mnt/ceph-disk1/file1 count=100 bs=1M 
	100+0 records in 
	100+0 records out 
	104857600 bytes (105 MB) copied, 7.16309 s, 14.6 MB/s 
	root@client-node1:~# df -h /mnt/ceph-disk1 
	Filesystem      Size  Used Avail Use% Mounted on 
	/dev/rbdl        10G  133M  9.9G   2% /mnt/ceph-disk1 
	root@client-node1:~# 
 	   

Чтобы отображать блочное устройство после перезагрузок, вам следует добавить сценарий init-rbdmap в запуск системы, добавьте пользователя Ceph и подробности кольца ключей (keyring) в /etc/ceph/rbdmap, и, наконец, обновите файл /etc/fstab:

# wget https://raw.githubusercontent.com/ksingh7/ceph-cookbook/master/rbdmap -O /etc/init.d/rbdmap
# chmod +x /etc/init.d/rbdmap
# update-rc.d rbdmap defaults

## Make sure you use correct keyring value in /etc/ceph/rbdmap file, which is generally unique for an environment.
# echo "rbd/rbd1 id=rbd,keyring=AQCLEg5VeAbGARAAE4ULXC7M5Fwd3BGFDiHRTw==" >> /etc/ceph/rbdmap
# echo "/dev/rbd1 /mnt/ceph-disk1 xfs defaults, _netdev 0 0 " >> /etc/fstab
# mkdir /mnt/ceph-disk1
# /etc/init.d/rbdmap start
 	   

Первоначальный размер созданного нами ранее образа RBD составляло 10ГБ. Теперь мы увеличим его размер до 20ГБ:

# rbd resize --image rbd1 --size 20480 --name client.rbd
# rbd info --image rbd1 --name client.rbd

	rootgclient-node1:~# rbd resize --image rbdl --size 20480 --name client.rbd 
	Resizing image: 100% complete...done. 
	rootgclient-node1:~# rbd info --image rbdl --name client.rbd 
	rbd image 'rbdl': 
	        size 20480 MB in 5120 objects 
	        order 22 (4096 kB objects) 
	        block_name_prefix: rb.0.14f1.238e1f29 
	        format: 1 
	root@client-node1:~# 
 	   

Увеличение файловой системы в размере приводит к тому, что мы используем больше пространства хранения. Следует знать, что изменение размера файловой системы является функциональной особенностью как ОС, так и вашего устройства файловой системы. Вам следует прочитать документацию по файловой системе перед изменением размера любого раздела. Файловая система XFS поддерживает изменение размера в реальном масштабе времени. Проверьте системные сообщения чтобы узнать об изменениях размера файловой системы:

# dmesg | grep -i capacity
# xfs_growfs -d /mnt/ceph-disk1

	root@client-node1:~# xfs_growfs -d /mnt/ceph-diskl 
	meta-data=/dev/rbd1              isize=256    agcount=17, agsize=162816 blks 
	         =                       sectsz=512   attr=2 
	data     =                       bsize=4096   blocks=2621440, imaxpct=25 
	         =                       sunit=1024   swidth=1024 blks 
	naming   =version 2              bsize=4096   ascii-ci=0 
	log      =internal               bsize=4096   blocks=2560, version=2 
	         =                       sectsz=512   sunit=8 blks, lazy-count=1 
	realtime =none                   extsz=4096   blocks=0, rtextents=0 
	data blocks changed from 2621440 to 5242880 
	root@client-node1:~# df -h /mnt/ceph-disk1 
	Filesystem      Size  Used Avail Use% Mounted on 
	/dev/rbdl        20G  134M   20G   1% /mnt/ceph-disk1 
	root@client-node1:~# 
 	   

Чтобы проверить функциональность снимка Ceph давайте создадим в сделанном нами ранее блочном устройстве некий файл:

# echo "Hello Ceph This is snapshot test" > /mnt/ceph-disk1/snapshot_test_file

	root@client-node1:~# echo "Hello Ceph This is snapshot test" > /mnt/ceph-disk1/snapshot_test_file 
	root@client-node1:~# is -1 /mnt/ceph-disk1 
	total 102404 
	rw r r 1 root root 104857600 Mar 22 16:07 file1 
	rw r r 1 root root 33 Mar 22 21:45 snapshot_test_file 
	root@client-node1:~# 
	root@client-node1:~# cat /mnt/ceph-disk1/snapshot_test_file 
	Hello Ceph This is snapshot test 
	root@client-node1:~# 
 	   

Создайте снимок для блочного устройства Ceph:

Синтаксис: rbd snap create <pool-name>/<image-name>@<snap-name>
# rbd snap create rbd/rbd1@snapshot1 --name client.rbd
 	   

Для отображения списка снимков образов воспользуйтесь следующим:

Синтаксис: rbd snap ls <pool-name>/<image-name>
# rbd snap ls rbd/rbd1 --name client.rbd

	root@client-node1:~# rbd snap create rbd/rbdl@snapshotl --name client.rbd 
	root@client-node1:~# rbd snap is rbd/rbdl --name client.rbd 
	SNAPID NAME              SIZE 
	     2 snapshot1     20480 MB 
	root@client-node1:~# 
 	   

Чтобы проверить функциональность восстановления снимка Ceph давайте удалим в файловой системе файлы:

# rm -f /mnt/ceph-disk1/*
 	   

Теперь мы восстановим снимок нашего RBD Ceph для возврата только что на последнем шаге удалённых файлов. Отметьте, пожалуйста, что операция отката перепишет текущую версию вашего образа RBD и его данные версией из снимка. Вы должны аккуратно выполнять эту операцию:

Синтаксис: rbd snap rollback <pool-name>/<image-name>@<snap-name>
# rbd snap rollback rbd/rbd1@snapshot1 --name client.rbd
 	   

По окончанию операции отката снимка перемонтируйте файловую систему RBD Ceph для обновления состояния файловой системы. Вы должны иметь возможность получить назад свои удалённые файлы:

# umount /mnt/ceph-disk1
# mount /dev/rbd1 /mnt/ceph-disk1
# ls -l /mnt/ceph-disk1

	root@client-node1:~# rbd snap rollback rbd/rbd1@snapshot1 --name client.rbd 
	Rolling back to snapshot: 100% complete...done. 
	root@client-node1:~# umount /mnt/ceph-disk1 
	root@client-node1:~# mount /dev/rbd1 /mnt/ceph-disk1 
	root@client-node1:~# is /mnt/ceph-disk1 
	total 102404 
	-rw-r--r-- 1 root root 104857600 Mar 22 16:07 file1 
	-rw-r--r-- 1 root root 33 Mar 22 21:45 snapshot_test_file 
	root@client-node1:~# 
 	   

Когда вам больше не нужны снимки, вы можете удалять определённый снимок с применением следующего синтаксиса. Удаление снимка не удаляет текущие данные в вашем образе RBD Ceph:

Синтаксис: rbd snap rm <pool-name>/<image-name>@<snap-name>
# rbd snap rm rbd/rbd1@snapshot1 --name client.rbd
 	   

Если у вас имеется множество снимков образов RBD и вы хотите удалить их все одной командой, тогда применяйте подкоманду purge:

Синтаксис: rbd snap purge <pool-name>/<image-name>
# rbd snap purge rbd/rbd1 --name client.rbd
 	   

Создайте образ RBD format-2 и осмотрите его детали:

# rbd create rbd2 --size 10240 --image-format 2 --name client.rbd
# rbd info --image rbd2 --name client.rbd

	root@client-node1:/# rbd create rbd2 --size 10240 --image-format 2 --name client.rbd 
	root@client-node1:/# 
	root@client-node1:/# rbd info --image rbd2 --name client.rbd 
	rbd image 'rbd2': 
	        size 10240 MB in 2560 objects 
	        order 22 (4096 kB objects) 
	        block_name_prefix: rbd_data.20f42ae8944a 
	        format: 2 
	        features: layering 
	root@client-node1:/# 
 	   

Создайте снимок этого образа RBD:

# rbd snap create rbd/rbd2@snapshot_for_cloning --name client.rbd
 	   

Для создания клона COW защитите снимок. Это важный шаг, мы должны предохранять снимок, так как если снимок будет удалён, будут разрушены все присоединённые клоны:

# rbd snap protect rbd/rbd2@snapshot_for_cloning --name client.rbd
 	   

Далее при помощи этого снимка мы создадим клонированный образ RBD:

Синтаксис: rbd clone <pool-name>/
	 

Созание клона является быстрым процессом. Как только он завершится, проверьте информацию вашего нового образа. Вы отметите, что будут отображена информация о его родительском пуле, образе и снимке:

# rbd info rbd/clone_rbd2 --name client.rbd

	root@client-node1:/# rbd snap create rbd/rbd2@snapshot_for_cloning --name client.rbd 
	root@client-node1:/# rbd snap protect rbd/rbd2@snapshot_for_cloning --name client.rbd 
	root@client-node1:/# rbd clone rbd/rbd2@snapshot_for_cloning rbd/clone_rbd2 --name client.rbd 
	root@client-node1:/# rbd info rbd/clone_rbd2 --name client.rbd 
	rbd image 'clone_rbd2': 
	        size 10240 MB in 2560 objects 
	        order 22 (4096 kB objects) 
	        block_name_prefix: rbd_data.220b3d1b58ba 
	        format: 2 
	        features: layering 
	        parent: rbd/rbd2@snapshot_for_cloning 
	        overlap: 10240 MB 
	root@client-node1:/# 
 	   

На данный момент у нас имеется клонированный образ RBD, который зависит от своего снимка образа родителя. Чтобы сделать клонированный образ RBD независимым от его родителей нам нужно выровнять (flatten) этот образ, которое выполнит копирование данных из родительского снимка в его дочерний образ. Время, которое займет выполнение процесса выравнивания зависит от размера данных, расположенных в родительском снимке. Когда процесс выравнивания завершится, зависимости между клонированным образом и его родительским снимком больше не будет.

Чтобы начать процесс выравнивания воспользуйтесь следующим:

# rbd flatten rbd/clone_rbd2 --name client.rbd
# rbd info --image clone_rbd2 --name client.rbd
 	   

После завершения процесса выравнивания, если вы проверите информацию об образе, вы отметите, что имя родительского образа/ снимка отсутствует и клон является независимым.

	root@client-node1:/# rbd flatten rbd/clone_rbd2 --name client.rbd 
	Image flatten: 100% complete...done. 
	root@client-node1:/# rbd info --image clone_rbd2 --name client.rbd rbd 
	image 'clone_rbd2': 
	    size 10240 MB in 2560 objects 
		order 22 (4096 kB objects) 
		block_name_prefix: rbd_data.220b3d1b58ba 
		format: 2 
		features: layering 
	root@client-node1:/# 
 	   

Вы также можете удалить свой родительский снимок если он вам больше не требуется. Перед удалением снимка вам сначала необходимо снять с него защиту:

# rbd snap unprotect rbd/rbd2@snapshot_for_cloning --name client.rbd
 	   

Когда со снимка снята защита, вы можете удалить его: purge:

Синтаксис: rbd snap purge <pool-name>/<image-name>
# rbd snap rm rbd/rbd2@snapshot_for_cloning --name client.rbd
 	   

Запустите openstack-node1 применив Vagrantfile как мы это делали для узлов Ceph в предыдущей главе. Убедитесь, что вы находитесь на машине хоста и под репозиторием ceph-cookbook прежде чем поднимете openstack-node1 с помощью Vagrant:

# cd ceph-cookbook
# vagrant up openstack-node1

	HOST:ceph-cookbook ksingh$ vagrant up openstack-node1 
	Bringing machine 'openstack-node1' up with 'virtualbox' provider... 
	==> openstack-node1: Clearing any previously set forwarded ports... 
	==> openstack-node1: Clearing any previously set network interfaces... 
	=> openstack-node1: Preparing network interfaces based on configuration... 
	      openstack-node1: 
	      Adapter 1: nat openstack-node1: 
	      Adapter 2: hostonly 
	=> openstack-node1: Forwarding ports... 
	      openstack-node1: 22 
	=> 2222 (adapter 1) 
	=> openstack-node1: Running 'pre-boot' VM customizations... 
	=> openstack-node1: Booting vm... 
	=> openstack-node1: waiting for machine to boot. This may take a few minutes... 
 	   

Когда openstack-node1 запущен, проверьте состояние Vagrant, а затем зарегистрируйтесь на этом узле:

$ vagrant status openstack-node1
$ vagrant ssh openstack-node1

	HOST:ceph-cookbook ksingh$ vagrant status openstack-node1 
	Current machine states: 

    openstack-node1           running (virtualbox)

    The VM is running. To stop this vm, you can run `vagrant halt` to 
	shut it down forcefully, or you can run `vagrant suspend` to simply 
	suspend the virtual machine. In either case, to restart it again, 
	simply run `vagrant up`. 
	HOST:ceph-cookbook ksingh$ 
	HOST:ceph-cookbook ksingh$ 
	HOST:ceph-cookbook ksingh$ vagrant ssh openstack-node1 
	Last login: Sat Mar 28 21:38:07 2015 from 10.0.2.2 
	[vagrant@os-node1 ~]$ 
 	   

Мы предполагаем, что у вас есть некое понимание OpenStack и представление о его работе. Мы подключим файл keystone_admin, который был размещён в /root, а затем нам нужно переключиться в корень:

$ sudo su -
$ source keystone_admin
 	   

Теперь мы выполним некоторые внутренние команды OpenStack чтобы убедиться что OpenStack установлен надлежащим образом. Обратите внимание, пожалуйста, что некоторые из этих команд не отображают никакой информации, поскольку это новая среда OpenStack, в которой нет созданных экземпляров или томов:

# nova list
# cinder list
# glance image-list

	[vagrant@os-node1 ~]$ sudo su -
	Last login: Sat Mar 28 22:34:52 EET 2015 on pts/0 
	[root@os-node1 ~]# source keystonerc_admin 
	[root@os-node1 ~(keystone_admin)]# 
	[root@os-node1 ~(keystone_admin)]# nova list 
	+----+------+--------+------------+-------------+----------+ 
	| ID | Name | Status | Task State | Power State | Networks |
	+----+------+--------+------------+-------------+----------+ 
	+----+------+--------+------------+-------------+----------+ 
	[root@os-node1 ~(keystone_admin)]# 
	[root@os-node1 ~(keystone_admin)]# cinder list 
	+----+--------+--------------+------+-------------+----------+-------------+ 
	| ID | Status | Display Name | Size | Volume Type | Bootable | Attached to | 
	+----+--------+--------------+------+-------------+----------+-------------+ 
	+----+--------+--------------+------+-------------+----------+-------------+ 
	[root@os-node1 ~(keystone_admin)]# glance image-list 
	+--------------------------------------+--------+-------------+------------------+----------+--------+ 
	| ID                                   | Name   | Disk Format | Container Format | Size     | Status |
	| Sc261af7-9388-44ad-a8ce-f9ebdad2e5cb | cirros I qcow2       | bare             | 13200896 | active | 
	+--------------------------------------+--------+-------------+------------------+----------+--------+ 
	[root@os-node1 ~(keystone_admin)]# 
 	   

Вы можете также зарегистрироваться в веб- интерфейсе horizon OpenStack https://192.168.1.111/dashboard с именем пользователя admin и паролем vagrant.

 

После регистрации мы откроем страницу Общего обзора:

 

Мы воспользуемся ceph-node1 для установки исполняемых файлов Ceph на os-node1 с использованием ceph-deploy, как мы это уже делали ранее в Главе 1. Введение и за его пределами. Чтобы сделать это, мы должны установить регистрацию ssh без пароля для os-node1. Пароль для root опять тот же (vagrant ):

$ vagrant ssh ceph-node1
$ sudo su -
# ping os-node1 -c 1
# ssh-copy-id root@os-node1

	HOST:ceph-cookbook ksingh$ vagrant ssh ceph-node1 
	Last login: Sun mar 29 11:27:53 2015 from 10.0.2.2 
	[vagrant@ceph-node1 ~]$ sudo su -
	Last login: Sun Mar 29 11:27:57 EEST 2015 on pts/1 
	[root@ceph-node1 ~]# ping os-node1 -c 1 
	PING os-node1.cephcookbook.com (192.168.1.111) 56(84) bytes of data. 
	64 bytes from os-node1.cephcookbook.com (192.168.1.111): icmp_seq=1 tt1=64 time=0.568 ms 
	
	--- os node1.cephcookbook.com ping statistics --- 
	1 packets transmitted, 1 received, 0% packet loss, time 0ms 
	rtt min/avg/max/mdev = 0.568/0.568/0.568/0.000 ms 
	[root@ceph-node1 ~]# ssh-copy-id root@os-node1 
	/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed 
	/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys 
	root@os-node1's password: 
	
	Number of key(s) added: 1
	
	Now try logging into the machine, with: "ssh 'root@os-node1'" 
	and check to make sure that only the key(s) you wanted were added. 
	
	[root@ceph-node1 ~]# 	
 	   

Далее мы установим пакеты Ceph на os-node1 с применением ceph-deploy:

# cd /etc/ceph
# ceph-deploy install os-node1

	[root@ceph-node1 ~]# cd /etc/ceph 
	[root@ceph-node1 ceph]# ceph-deploy install os-node1 
	[ceph_deploy.conf][DEBUG ] found configuration file at: /root/.cephdeploy.conf 
	[ceph_deploy.cli][INFO ] Invoked (1.5.22): /bin/ceph-deploy install os-node1 
	[ceph_deploy.install][DEBUG ] Installing stable version giant on cluster ceph hosts os-node1 
	[ceph_deploy.install][DEBUG ] Detecting platform for host os-node1 
	[os-node1][DEBUG ] connected to host: os-node1 
	[os-node1][DEBUG ] detect platform information from remote host 
	[os-node1][DEBUG ] detect machine type 
	[ceph_deploy.install][INFO ] Distro info: centos Linux 7.0.1406 Core 
	[os-node1][INFO ] installing ceph on os-node1 
 	   

Пропихните файл настрое Ceph, ceph.conf с ceph-node1 на os-node1. Этот файл настроек поможет клиентам достигать мониторы Ceph и машины OSD. Заметьте, пожалуйста, что при желании вы также можете скопировать файл ceph.conf вручную на os-node1:

# ceph-deploy config push os-node1
 	   

	Замечание
	Убедитесь что ваш помещённый на os-node1 файл ceph.conf имеет привилегии, установленные в значение 644.

	[root@ceph-node1 ceph]# ceph-deploy config push os-node1 
	[ceph_deploy.conf][DEBUG ] found configuration file at: /root/.cephdeploy.conf 
	[ceph_deploy.cli][INFO ] Invoked (1.5.22): /bin/ceph-deploy config push os-node1 
	[ceph_deploy.config][DEBUG ] Pushing config to os-node1 
	[os-node1][DEBUG ] connected to host: os-node1 
	[os-node1][DEBUG ] detect platform information from remote host 
	[os-node1][DEBUG ] detect machine type 
	[os-node1][DEBUG ] write cluster configuration to /etc/ceph/{cluster}.conf 
	[root@ceph-node1 ceph]# 
 	   

Создайте пулы для cinder, glance и nova. Вы можете применить любой доступный пул, однако для компонентов OpenStack рекомендуется чтобы вы создавали отдельные пулы:

# ceph osd pool create images 128
# ceph osd pool create volumes 128
# ceph osd pool create vms 128

	[root@ceph-node1 ceph]# ceph osd pool create images 128 
	pool 'images' created 
	[root@ceph-node1 ceph]# ceph osd pool create volumes 128 
	pool 'volumes' created 
	[root@ceph-node1 ceph]# ceph osd pool create vms 128 
	pool 'vms' created 
	[root@ceph-node1 ceph]# ceph osd lspools 
	0 rbd,1 images,2 volumes,3 vms, 
	[root@ceph-node1 ceph]# 
 	   

Установите аутентификацию клиента создав нового пользователя для cinder и glance:

# ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes, allow rwx pool=vms, allow rx pool=images'
# ceph auth get-or-create client.glance mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=images'

	[root@ceph-node1 ceph]# ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes, allow rwx pool=vms, allow rx pool=images' 
	[client.cinder] 
	        key = AQByVBhVMK2nLxAArOflyalhbc23N2kyZv0EXw== 
	[root@ceph-node1 ceph]# ceph auth get-or-create client.glance mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=images' 
	[client.glance] 
	        key = AQCBVBhVYJEEKBAAhXHTe9Z12O2YyhMOjpga2A== 
	[root@ceph-node1 ceph]# 
 	   

Добавьте кольцо ключей на os-node1 и измените его владельца:

# ceph auth get-or-create client.glance | ssh os-node1 sudo tee /etc/ceph/ceph.client.glance.keyring
# ssh os-node1 sudo chown glance:glance /etc/ceph/ceph.client.glance.keyring
# ceph auth get-or-create client.cinder | ssh os-node1 sudo tee /etc/ceph/ceph.client.cinder.keyring
# ssh os-node1 sudo chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring

	[root@ceph-node1 ceph]# ceph auth get-or-create client.glance | ssh os-node1 sudo tee /etc/ceph/ceph.client.glance.keyring
	[client.glance] 
	        key = AQCBVBhVYJEEKBAAhXTe9Z12O2YyhM0jpga2A== 
	[root@ceph-node1 ceph]# ssh os-node1 sudo chown glance:glance /etc/ceph/ceph.client.glance.keyring
	[root@ceph-node1 ceph]# ceph auth get-or-create client.cinder | ssh os-node1 sudo tee /etc/ceph/ceph.client.cinder.keyring
	[client.cinder] key = AQByVBhVMK2nLxAAr0f1yalhbc23N2kyZv0EXw== 
	[root@ceph-node1 ceph]# ssh os-node1 sudo chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring
	[root@ceph-node1 ceph]# 
 	   

Процеессу libvirt необходим доступ к кластеру Ceph для присоединения или отсоединения блочных устройств от Cinder. Мы должны создать временную копию ключа client.cinder, который будет нужен для настроек cinder и nova позже в данной главе:

# ceph auth get-key client.cinder | ssh os-node1 tee /etc/ceph/temp.client.cinder.key
 	   

На данный момент вы можете проверить предыдущую настройку осуществив доступ к кластеру Ceph с os-node1 применив пользователей Ceph client.glance и client.cinder. Зарегистрируйтесь на os-node1 и выполните следующие команды:

$ vagrant ssh openstack-node1
$ sudo su -
# cd /etc/ceph
# ceph -s --name client.glance --keyring ceph.client.glance.keyring
# ceph -s --name client.cinder --keyring ceph.client.cinder.keyring

	HOST:ceph-cookbook ksingh$ vagrant ssh openstack-node1 
	Last login: Sun Mar 29 22:55:20 2015 from 10.0.2.2 
	[vagrant@os-node1 ~]$ sudo su -
	Last login: Sun Mar 29 22:55:35 EEST 2015 on pts/0 
	[root@os-node1 ~]# cd /etc/ceph 
	[root@os-node1 ceph]# ceph -s --name client.glance --keyring ceph.client.glance.keyring 
	    cluster 9609b429-eee2-4e23-af31-28a24fcf5cbc 
		health HEALTH_OK 
		monmap e3: 3 mons at {ceph-node1=192.168.1.101:6789/0,ceph-node2=192.168.1.102:6789/0,ceph-node3=192.1 68.1.103:6789/0}, election epoch 134, quorum 0,1,2 ceph-node1,ceph-node2,ceph-node3 
		osdmap e248: 9 osds: 9 up, 9 in 
		 pgmap v1189: 564 pgs, 4 pools, 114 MB data, 2629 objects 
		      745 MB used, 134 GB / 134 GB avail 
			       564 active+clean 
	[root@os-node1 ceph]# 
	[root@os-node1 ceph]# ceph -s --name client.cinder --keyring ceph.client.cinder.keyring 
	    cluster 9609b429-eee2-4e23-af31-28a24fcf5cbc 
		health HEALTH_OK 
		monmap e3: 3 mons at {ceph-node1=192.168.1.101:6789/0,ceph-node2=192.168.1.102:6789/0,ceph-node3=192.1 68.1.103:6789/0}, election epoch 134, quorum 0,1,2 ceph-node1,ceph-node2,ceph-node3 
		osdmap e248: 9 osds: 9 up, 9 in 
		 pgmap v1189: 564 pgs, 4 pools, 114 MB data, 2629 objects 
		       745 MB used, 134 GB / 134 GB avail 
			        564 active+clean 
	[root@os-node1 ceph]# 
 	   

Наконец создадим uuid, затем создадим, определим и установим ключ безопасности для libvirt и удалим временные ключи:

Зарегистрируйтесь на os-node1, который является нашим узлом glance и отредактируйте /etc/glance/glance-api.conf для следующих изменений:

Перезапустите службы glance OpenStack:

# service openstack-glance-api restart
 	   

Получите файл keystone_admin для OpenStack и выведите список образов glance:

# source /root/keystonerc_admin
# glance image-list

	[root@os-node1 ~]# source keystonerc_admin 
	[root@os-node1 ~(keystone_admin)]# 
	[root@os-node1 ~(keystone_admin)]# glance image-list 
	+--------------------------------------+--------+-------------+------------------+----------+--------+ 
	| ID                                   | Name   | Disk Format | Container Format | Size     | Status |
	+--------------------------------------+--------+-------------+------------------+----------+--------+ 
	| 5c261af7-9388-44ad-a8ce-f9ebdad2eScb | cirros | qcow2       | bare             | 13200896 | active |
	+--------------------------------------+--------+-------------+------------------+----------+--------+ 
	[root@os-node1 ~(keystone_admin)]# 
 	   

Загрузите из интернет образ cirros, который позже будет сохранён в Ceph:

# wget http://download.cirros-cloud.net/0.3.1/cirros-0.3.1-x86_64-disk.img
 	   

Добавьте новый образ glance с помощью следующей команды:

# glance image-create --name cirros_image --is-public=true --diskformat=qcow2 --container-format=bare < cirros-0.3.1-x86_64-disk.img

	[root@os-node1 ~(keystone_admin)]# glance image-create --name cirros_image --is-public=true --disk-format=qcow2 --container-format=bare < cirros-0.3.1-x86_64-disk.img 
	+------------------+--------------------------------------+
	| Property         | Value                                |
	+------------------+--------------------------------------+
	| checksum         | d972013792949d0d3ba628fbe8685bce     |
	| container_format | bare                                 |
	| created_at       | 2015-03-30T10:17:58                  |
	| deleted          | False                                |
	| deleted_at       | None                                 |
	| disk_format      | qcow2                                |
	| id               | b2d15e34-7712-4f1d-b48d-48b924e79b0c |
	| is_public        | True                                 |
	| min_disk         | 0                                    | 
	| min_ram          | 0                                    |
	| name             | cirros_image                         |
	| owner            | c9f87abe43ea49239313565ca74ebaa0     |
	| protected        | False                                |
	| size             | 13147648                             |
	| status           | active                               |
	| updated_at       | 2015-03-30T10:18:01                  |
	| virtual_size     | None                                 |
	+------------------+--------------------------------------+
 	   

Отобразим список образов glanse с использованием следующей команды; отметим, что сейчас существует два образа glance:

# glance image-list

	[root@os-node1 ~(keystone_admin)]# glance image-list 
	+--------------------------------------+--------------+-------------+------------------+----------+--------+ 
	| ID                                   | Name         | Disk Format | Container Format | Size     | Status | 
	+--------------------------------------+--------------+-------------+------------------+----------+--------+ 
	| 5c261af7-9388-44ad-a8ce-f9ebdad2e5cb | cirros       | qcow2       | bare             | 13200896 | active | 
	| b2d15e34-7712-4f1d-b48d-48b924e79b0c | cirros_image | qcow2       | bare             | 13147648 | active | 
	+--------------------------------------+--------------+-------------+------------------+----------+--------+ 
	[root@os-node1 ~(keystone_admin)]# 
 	   

Вы можете проверить что новый образ сохранён в Ceph запросив ID образа в пуле образов вашего Ceph:

# rados -p images ls --name client.glance --keyring /etc/ceph/ceph.client.glance.keyring | grep -i id

	[root@os-node1 ~]# rados -p images ls --name client.glance --keyring /etc/ceph/ceph.client.glance.keyring | grep -i id 
	rbd_id.b2d15e34-7712-4f1d-b48d-48b924e79b0c 
	[root@os-node1 ~]# 
 	   

Поскольку мы настроили glance использовать Ceph в качестве его хранилища по умолчанию, все образы glance будут теперь сохраняться в Ceph. Вы также можете попытаться создавать образы из инструментальной панели OpenStack horizon.

$ vagrant ssh ceph-node1
 	   

Наконец мы попытаемся запустить экземпляр с применением образа, который мы создали ранее:

ova boot --flavor 1 --image b2d15e34-7712-4f1d-b48d-48b924e79b0c vm1
 	   

Поскольку в данной демонстрации мы не применяем множественную поддержку настроек Cinder, закройте комментарием параметр enabled_backends в файле /etc/cinder/cinder.conf.

Переместитесь в раздел Options defined in cinder.volume.drivers.rbd файла /etc/cinder/cinder.conf и добавьте следующее (замените секрет uuid значением вашей среды:

volume_driver = cinder.volume.drivers.rbd.RBDDriver
rbd_pool = volumes
rbd_user = cinder
rbd_secret_uuid = bb90381e-a4c5-4db7-b410-3154c4af486e
rbd_ceph_conf = /etc/ceph/ceph.conf
rbd_flatten_volume_from_snapshot = false
rbd_max_clone_depth = 5
rbd_store_chunk_size = 4
rados_connect_timeout = -1
glance_api_version = 2
 	   

Выполните следующую команду для проверки предыдущих записей:

# cat /etc/cinder/cinder.conf | egrep "rbd|rados|version" | grep -v "#"

	[root@os-node1 ~]# cat /etc/cinder/cinder.conf | egrep "rbd|rados|version" | grep -v "#" 
	volume_driver = cinder.volume.drivers.rbd.RBDDriver 
	rbd_pool = volumes 
	rbd_user = cinder 
	rbd_secret_uuid = bb90381e-a4c5-4db7-b410-3154c4af486e 
	rbd_ceph_conf = /etc/ceph/ceph.conf 
	rbd_flatten_volume_from_snapshot = false 
	rbd_max_clone_depth = 5 
	rbd_store_chunk_size =4 
	rados_connect_timeout = -1 
	glance_api_version = 2 
	[root@os-node1 ~]# 
 	   

Перезапустите службы OpenStack Cinder:

# service openstack-cinder-volume restart
 	   

Получите файлы keystone_admin для OpenStack:

# source /root/keystonerc_admin
# cinder list
 	   

Для проверки настроек создайте ваш первый 2ГБ том Cinder, который должен быть теперь создан в вашем кластере Ceph:

# cinder create --display-name ceph-volume01 --display-description "Cinder volume on CEPH storage" 2
 	   

Проверьте ваш том выводом томов пула Cinder и Ceph:

# cinder list
# rados -p volumes --name client.cinder --keyring ceph.client.cinder.keyring ls | grep -i id

	[root@os-node1 ceph(keystone_admin)]# cinder list 
	+--------------------------------------+-----------+---------------+------+-------------+----------+-------------+ 
	| ID                                   | Status    | Display Name  | Size | Volume Type | Bootable | Attached to | 
	+--------------------------------------+-----------+---------------+------+-------------+----------+-------------+ 
	| 1337c866-6ff7-4a56-bfe5-b0b80abcb281 | available | ceph-volume01 |  2   |     None    |  false   |             | 
	+--------------------------------------+-----------+---------------+------+-------------+----------+-------------+ 
	[root@os-node1 ceph(keystone_admin)]# 
	[root@os-node1 ceph(keystone_admin)]# rados -p volumes --name client.cinder --keyring ceph.client.cinder.keyring is | grep -i id rbd_id.volume-1337c866-6ff7-4a56-bfe5-b0b80abcb281 
	[root@os-node1 ceph(keystone_admin)]# 
 	   

Аналогично попробуйте создать другой том с применением инструментальной панели OpenStack Horizon.

Переместитесь в раздел Options defined in nova.virt.libvirt.volume и измените следующие строки (замените секрет uuid значением вашего окружения):

rbd_user=cinder
rbd_secret_uuid= bb90381e-a4c5-4db7-b410-3154c4af486e
 	   

Перезапустите службы OpenStack Nova:

# service openstack-nova-compute restart
 	   

Для проверки этих настроек мы подключим том Cinder к экземпляру OpenStack. Выведем перечни экземпляров и томов для получения их ID:

# nova list
# cinder list

	[root@os-node1 ~(keystone_admin)]# nova list 
	+--------------------------------------+------+--------+------------+-------------+---------------------+ 
	| ID                                   | Name | Status | Task State | Power State | Networks            | 
	+--------------------------------------+------+--------+------------+-------------+---------------------+ 
	| lcadffc0-58b0-43fd-acc4-33764a02a0a6 | vm1  | ACTIVE | -          | Running     | public=172.24.4.229 | 
	+--------------------------------------+------+--------+------------+-------------+---------------------+ 
	[root@os-node1 ~(keystone_admin)]# cinder list 
	+--------------------------------------+-----------+---------------+------+-------------+----------+-------------+
	|                  ID                  |   Status  |  Display Name | Size | Volume Type | Bootable | Attached to | 
	+--------------------------------------+-----------+---------------+------+-------------+----------+-------------+
	| 1337c866-6ff7-4a56-bfe5-b0b80abcb281 | available | ceph-volume01 |  2   |     None    |  false   |             | 
	| 67d76db0-f808-40d8-819b-Of0302df74a0 | available | ceph-volume02 |  1   |     None    |  false   |             | 
	+--------------------------------------+-----------+---------------+------+-------------+----------+-------------+
 	   

Подключите свой том к вашему экземпляру:

# nova volume-attach 1cadffc0-58b0-43fd-acc4-33764a02a0a61337c866-6ff7-4a56-bfe5-b0b80abcb281
# cinder list

	[root@os-node1 ~(keystone_admin)]# nova volume-attach lcadffc0-58b0-43fd-acc4-33764a02a0a6 1337c866-6ff7-4a56-bfe5-b0b80abcb281 
	+----------+--------------------------------------+
	| Property | Value                                | 
	+----------+--------------------------------------+
	| device   | /dev/vdb                             |
	| id       | 1337c866-6ff7-4a56-bfe5-b0b80abcb281 | 
	| serverId | lcadffc0-58b0-43fd-acc4-33764a02a0a6 | 
	| volumeid | 1337c866-6ff7-4a56-bfe5-b0b80abcb281 |
	+----------+--------------------------------------+
	[root@os-node1 -(keystone_admin)]# cinder list 
	+--------------------------------------+-----------+---------------+------+-------------+----------+--------------------------------------+ 
	|                  ID                  |   Status  |  Display Name | Size | Volume Type | Bootable | Attached to                          | 
	+--------------------------------------+-----------+---------------+------+-------------+----------+--------------------------------------+ 
	| 1337c866-6ff7-4a56-bfe5-b0b80abcb281 |   in-use  | ceph-volume01 |  2   |     None    |  false   | lcadffc0-58b0-43fd-acc4-33764a02a0a6 | 
	| 67d76db0-f808-40d8-819b-Of0302df74a0 | available | ceph-volume02 |  1   |     None    |  false   |                                      | 
	+--------------------------------------+-----------+---------------+------+-------------+----------+--------------------------------------+ 
	[root@os-node1 ~(keystone_admin)]# 
 	   

Теперь вы можете применять этот том как обычное блочное устройство из экземпляра OpenStack.

Переместитесь в раздел Options defined in nova.virt.libvirt.volume и измените следующие строки (замените секрет uuid значением вашего окружения):

rbd_user=cinder
rbd_secret_uuid= bb90381e-a4c5-4db7-b410-3154c4af486e
 	   

Переместитесь в раздел [libvirt] и добавьте следующее:

inject_partition=-2
images_type=rbd
images_rbd_pool=vms
images_rbd_ceph_conf=/etc/ceph/ceph.conf
 	   

Переместитесь в раздел Options defined in nova.virt.libvirt.volume и измените следующие строки (замените секрет uuid значением вашего окружения):

rbd_user=cinder
rbd_secret_uuid= bb90381e-a4c5-4db7-b410-3154c4af486e
 	   

Проверьте свои изменения:

# cat /etc/nova/nova.conf|egrep "rbd|partition" | grep -v "#"

	[root@os-node1 ~(keystone_admin)]# cat /etc/nova/nova.conf|egrep "rbd|partition" | grep -v "#" 
	inject_partition=-2 
	images_type=rbd 
	images_rbd_pool=vms 
	images_rbd_ceph_conf=/etc/ceph/ceph.conf 
	rbd_user=cinder 
	rbd_secret_uuid=bb90381e-a4c5-4db7-b410-3154c4af486e 
	[root@os-node1 ~(kevstone admin)]# 
 	   

Перезапустите службы OpenStack Nova:

# service openstack-nova-compute restart
 	   

Для загрузки виртуальной машины из Ceph формат образа Glance должен быть RAW. Мы воспользуемся тем же образом cirros, который мы загружали ранее в этой главе и конвертируем этот образ из QCOW в формат RAW (это существенно). Вы также можете использовать любой другой образ если он в формате RAW:

# qemu-img convert -f qcow2 -O raw cirros-0.3.1-x86_64-disk.img cirros-0.3.1-x86_64-disk.raw

	[root@os-node1 ~(keystone_admin)]# qemu-img convert -f qcow2 -0 raw cirros-0.3.1-x86_64-disk.img cirros-0.3.1-x86_64-disk.raw 
	[root@os-node1 ~(keystone_admin)]# 
	[root@os-node1 ~(keystone_admin)]# is -la cirros-0.3.1-x86_64-disk.raw 
	-rw-r--r-- 1 root root 41126400 Apr 3 22:19 cirros-0.3.1-x86_64-disk.raw 
	[root@os-node1 ~(keystone admin)]# file cirros-0.3.1-x86_64-disk.raw 
	cirros-0.3.1-x86_64-disk.raw: x86 boot sector; GRand Unified Bootloader, stagel version 0x3, stage2 address 0x2000, stage2 segment 0x200; partition 1: ID=0x83, active, starthead 0, startsector 16065, 64260 sectors, code offset 0x48 
	[root@os-node1 ~(keystone_admin)]# 
 	   

Создайте образ Glance при помощи образа RAW:

# glance image-create --name cirros_raw_image --is-public=true --disk-format=raw --container-format=bare < cirros-0.3.1-x86_64-disk.raw
 	   

Создайте загружаемый том для проверки функциональности загрузки с вашего тома Ceph:

# nova image-list
# cinder create --image-id ff8d9729-5505-4d2a-94ad-7154c6085c97 --display-name cirros-ceph-boot-volume 1

	[root@os-node1 ~(keystoneadmin)]# nova image-list 
	+--------------------------------------+------------------+--------+--------+
	| ID                                   | Name             | Status | Server | 
	+--------------------------------------+------------------+--------+--------+
	| 5c261af7-9388-44ad-a8ce-f9ebdad2e5cb | cirros           | ACTIVE |        | 
	| b2d15e34-7712-4f1d-b48d-48b924e79b0C | cirros_image     | ACTIVE |        | 
	| ff8O9729-5505-4d2a-94ad-7154c6085c97 | cirros_raw_image | ACTIVE |        | 
	+--------------------------------------+------------------+--------+--------+
	[root@os-node1 ~(keystone_admin)]# 
	[root@os-node1 ~(keystone_admin)]# cinder create --image-id ff8d9729-5505-4d2a-94ad-7154c6085c97 --display-name cirros-ceph-boot-volume 1
	+---------------------+--------------------------------------+
	|       Property      |                Value                 |
	+---------------------+--------------------------------------+
	|     attachments     |                  []                  |
	|  availability_zone  |                 nova                 |
	|       bootable      |                false                 |
	|      created_at     |      2015-04-03T22:47:52.638434      |
	| display_description |                 None                 |
	|     display_name    |       cirros-ceph-boot-volume        |
	|      encrypted      |                False                 |
	|          id         | 3a0da68c-d00c-459f-8b52-88c45d6e3bfe |
	|       image_id      | ff8d9729-5505-4d2a-94ad-7154c6085c97 |
	|       metadata      |                 {}                   |
	|         size        |                 1                    |
	|     snapshot_id     |                None                  |
	|     source_volid    |                None                  |
	|        status       |              creating                |
	|     volume_type     |                None                  |
	+---------------------+--------------------------------------+
	[root@os-node1 ~(keystone_admin)]# 
 	   

Выведите перечень томов Cinder для проверки того что поле bootable установлено в значение true:

# cinder list

	[root@os-node1 ~(keystone_admin)]# cinder list 
    +--------------------------------------+-----------+-------------------------+------+-------------+----------+--------------------------------------+ 
	|                   ID                 |   Status  |       Display Name      | Size | Volume Type | Bootable |             Attached to              |
    +--------------------------------------+-----------+-------------------------+------+-------------+----------+--------------------------------------+ 
	| 1337c866-6ff7-4a56-bfe5-b0b80abcb281 |   in-use  |      ceph-volume01      |  2   |     None    |  false   | 1cadffc0-58b0-43fd-acc4-33764a02a0a6 | 
	| 3a0da68c-d00c-459f-8b52-88c45d6e3bfe | available | cirros-ceph-boot-volume |  1   |     None    |   true   |                                      |
	| 67d76db0-f808-40d8-819b-0f0302df74a0 | available |      ceph-volume02      |  1   |     None    |  false   |                                      |
    +--------------------------------------+-----------+-------------------------+------+-------------+----------+--------------------------------------+ 
	[root@os-node1 ~(keystone_admin)]#
 	   

Теперь у нас есть сохранённый в Ceph загружаемый том, следовательно мы можем запустить сэтого тома экземпляр:

# nova boot --flavor 1 --block_device_mapping vda=fd56314be19b-4129-af77-e6adf229c536::0 --image 964bd077-7b43-46eb-8fe1-cd979a3370df vm2_on_ceph --block_device_mapping vda = <cinder bootable volume id > --image = <Glance image associated with the bootable volume>
 	   

Наконец, проверьте состояние экземпляра:

 nova list
 
	[root@os-node1 ~(keystone_admin)]# nova list 
	+--------------------------------------+--------------+---------+------------+-------------+---------------------+ 
	| ID                                   | Name         | Status  | Task State | Power State | Networks            | 
	+--------------------------------------+--------------+---------+------------+-------------+---------------------+ 
	| 1cadffc0-58b0-43fd-acc4-33764a02a0a6 | vm1          | SHUTOFF | -          | Shutdown    | public=172.24.4.229 | 
	| 2b35870e-9f7e-4e5f-bd12-9a625797355d | vm2_01n_ceph | ACTIVE  | -          | Running     | public=172.24.4.233 |
	+--------------------------------------+--------------+---------+------------+-------------+---------------------+ 
	[root@os-node1 ~(kevstone_admin)]# 
 	   

На данный момент у нас выполняющийся с тома Ceph имеется экземпляр. Попытайтесь зарегистрироваться из инструментальной панели Horizon: