Глава 9. Включение Ceph в состав OpenStack

Создайте новую виртуальную машину VirtualBox для установки OpenStack:

# VboxManage createvm --name os-node1 --ostype RedHat_64 --register
# VBoxManage modifyvm os-node1 --memory 4096 --nic1 nat -- nic2 hostonly --hostonlyadapter2 vboxnet1
# VBoxManage storagectl os-node1 --name "IDE Controller" --add ide --controller PIIX4 --hostiocache on --bootable on
# VBoxManage storageattach os-node1 --storagectl "IDE Controller" --type dvddrive --port 0 --device 0 --medium CentOS-6.4-x86_64-bin-DVD1.iso

	Замечание
	Вы должны указать правильный абсолютный путь к ISO- файлу с CentOS в параметре --medium для приведенной выше команды.

# VBoxManage storagectl os-node1 --name "SATA Controller" --add sata --controller IntelAHCI --hostiocache on --bootable on
# VBoxManage createhd --filename OS-os-node1.vdi --size 10240
# VBoxManage storageattach os-node1 --storagectl "SATA Controller" --port 0 --device 0 --type hdd --medium OS-osnode1.vdi 
# VBoxManage startvm os-node1 --type gui

Когда виртуальная машина создана и запущена, установите операционную систему CentOS, следуя документации по установке ОС, доступной на https://access.redhat.com/site/documentation/en-US/Red_Hat_Enterprise_Linux/6/html/Installation_Guide/index.html. В процессе установки обеспечьте для хоста имя os-node1.

Когда вы успешно установите операционную систему, измените настройки сети этой машины. Убедитесь, что вы редактируете файл с правильным именем сетевого устройства; в нашем случае сетевыми устройствами являются eth2 и eth3 (существует вероятность, что имена устройств могут изменить свои названия в вашей среде, однако это не должно создать проблем). Когда файлы настройки сетевых устройств отредактированы, перезапустите сетевые службы. Выполните следующие шаги для изменения настройки сети:

Убедитесь, что новый узел, os-node1, может взаимодействовать с узлами кластера Ceph:

# ping ceph-node1
# ping ceph-node2
# ping ceph-node3

Поскольку данная установка предназначена для тестирования, вам следует запретить межсетевой экран и установить selinux в permissive чтобы избежать усложнений:

# setenforce 0
# service iptables stop

Обновите текущие пакеты операционной системы чтобы избежать предостережения/ошибки вызванные несовместимостью версий пакетов:

# yum update -y

Установите пакеты RDO:

# yum install -y https://repos.fedorapeople.org/repos/openstack/openstack-icehouse/rdo-release-icehouse-4.noarch.rpm

Установите пакеты OpenStack packstack:

# yum install -y openstack-packstack

Наконец запустите установку компонентов OpenStack с использованием packstack, который выполнит абсолютно свободную от ручной работы установку OpenStack:

# packstack --allinone

Applying 10.0.2.15_ring_swift.pp
10.0.2.15_ring_swift.pp:                             [  DONE ]
Applying 10.0.2.15_swift.pp
Applyi ng 10.0.2.15_provision_demo.pp
10.0.2.15_swift.pp:                                  [  DONE ]
10.0.2.15_provision_demo.pp:                         [  DONE ]
Applying 10.0.2.15_mongodb.pp
10.0. 2.15_mongodb.pp:                               [  DONE ]
Applying 10.0.2.15_ceilometer.pp
Applying 10.0.2.15_nagios.pp
Applyi ng 10.0.2.15_nagios_nrpe.pp
10.0.2.15_ceilometer.pp:                             [  DONE ]
10.0.2.15_nagios.pp:                                 [  DONE ]
10.0.2.15_nagios_nrpe.pp:                            [  DONE ]
Applying 10.0.2.15_postscript.pp
10.0. 2.15_postscript.pp:                            [  DONE ]
Applying Puppet manifests                            [  DONE ]
Finalizing                                           [  DONE ]

  **** Installation completed successfully ******

После того, как packstack выполнит установку, он отобразит некоторую дополнительную информацию, включающую URL инструментальной панели OpenStack Horizon и полномочия, которые могут быть использованы для работы с OpenStack:

Additional information:
 * A new answerfile was created in: /root/packstack-answers-20140823-195321.txt
 * Time synchronization installation was skipped. Please note that unsynchronized time on s
erver instances might be problem for some OpenStack components.
 * File /root/keystonerc_admin has been created on OpenStack client host 10.0.2.15. To use
the command line tools you need to source the file.
 * To access the OpenStack Dashboard browse to http://10.0.2.15/dashboard .
Please, find your login credentials stored in the keystonerc_admin in your home directory.
 * To use Nagios, browse to http://10.0.2.1S/nagios username: nagiosadmin, password: bd9321
71484e4e16
 * Because of the kernel update the host 10.0.2.15 requires reboot.
 * The installation log file is available at: /var/tmp/packstack/20140823-195320-YSt3Kn/ope
nstack-setup.log
 * The generated manifests are available at: /var/tmp/packstack/20140823-195320-YSt3Kn/mani
fests
[root@os-node1 ~]#

Полномочия для регистрации с учетной записью администратора будут сохранены в файле /root/keystone_rc

[root@os-node1 ~]# cat /root/keystonerc_admin
export OS_USERNAME=admin
export OS_TENANT_NAME=admin
export OS_PASSWORD=1da01eb3782e4b88
export OS_AUTH_URL=http://10.0.2.15:5000/v2.0/
export PSl='[\u@\h \W(keystone_admin)]\$ '
[root@os-node1 ~]#

Наконец откроем веб браузер, в строк навигации введем URL инструментальной панели OpenStack Horizon и применим полномочия пользователя с правами администратора:

Теперь вы развернули среду OpenStack с одним узлом, которая готова к интеграции с Ceph. Вам будет представлен следующий экран:

Чтобы установить пакеты Ceph на узлы OpenStack, воспользуйтесь утилитой ceph-deploy с любого из узлов мониторов Ceph. В нашем случае мы используем ceph-node1 для установки пакетов Ceph с применением инструментария ceph-deploy:

# ceph-deploy install os-node1

Используйте ceph-deploy для копирования колец ключей клиентов Ceph с правами администраторов на узлы OpenStack:

# ceph-deploy admin os-node1

Проверьте кольцо ключей Ceph и файл настройки в /etc/ceph на узле OpenStack и попытайтесь соединиться с кластером:

[root@os-node1 ~]# ls -l /etc/ceph
total 12
-rw-r—-r—-. 1 root root 137 Aug 24 00:25 ceph.client.admin.keyring
-rw-r—-r-—. 1 root root 573 Aug 24 00:25 ceph.conf
-rwxr-xr-x. 1 root root  92 Jul 30 04:36 rbdmap
[root@os-node1 -]#
[root@os-node1 -]# ceph -s
    cluster 07a92ca3-347e-43db-87ee-e0a0a9f89e97
     health HEALTH_OK
     monmap e3: 3 mons at {ceph-node1=192.168.57.101:6789/0fceph-node2=192.168.57.102:6789/0,
ceph-node3=192.168.57.103:6789/0}, election epoch 1060, quorum 0,1,2 ceph-node1,ceph-node2,ce
ph-node3
     mdsmap e96: 1/1/1 up {0=ceph-node2=up:active}
     osdmap e869: 9 osds: 9 up, 9 in
      pgmap v4931: 1536 pgs, 13 pools, 1352 kB data, 2650 objects
            509 MB used, 82335 MB / 82844 MB avail
                1536 active+clean
[root@os-node1 ~]#

Создайте выделенные пулы Ceph для OpenStack Cinder и Glance. Убедитесь в использовании надлежащего числа групп размещения для вашей среды:

# ceph osd pool create volumes 128
# ceph osd pool create images 128

Создайте нового пользователя для Cinder и Glance чтобы использовать аутентификацию cephx:

# ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes,allow rx pool=images'
# ceph auth get-or-create client.glance mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=images'

Создайте файлы колец ключей для созданных новых пользователей client.cinder и client.glance и предоставьте им доступ в качестве пользователей OpenStack Cinder и Glance:

# ceph auth get-or-create client.cinder | tee /etc/ceph/ceph.client.cinder.keyring
# chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring
# ceph auth get-or-create client.glance | tee /etc/ceph/ceph.client.glance.keyring
# chown glance:glance /etc/ceph/ceph.client.glance.keyring

	Замечание
	Проверьте что файл /etc/ceph/ceph.conf имеет полномочия на чтение для пользователей Cinder. Обычно он должен иметь полномочия 644.

Процесс libvirt требует доступа к кластеру Ceph при подключении и отключении блочных устройств от Cinder и создании временной копии ключа client.cinder который будет добавлен к libvirt на следующем шаге:

# ceph auth get-key client.cinder | tee /tmp/client.cinder.key

Добавьте ключ безопасности libvirt и удалите временную копию ключа client.cinder:

Дойдите до раздела Options defined in cinder.volume.manager в файле /etc/cinder/cinder.conf и добавьте драйвер RBD для Cinder:

volume_driver=cinder.volume.drivers.rbd.RBDDriver

Дойдите до раздела Options defined in cinder.volume.drivers.rbd в файле /etc/cinder/cinder.conf и добавьте (замените UUID безопасности на значение вашего окружения) следующим:

rbd_pool=volumes
rbd_user=cinder
rbd_ceph_conf=/etc/ceph/ceph.conf
rbd_flatten_volume_from_snapshot=false
rbd_secret_uuid=63b033bb-3305-479d-854b-cf3d0cb6a50c
rbd_max_clone_depth=5

Дойдите до раздела Options defined in cinder.common.config в файле /etc/cinder/cinder.conf и добавьте:

glance_api_version=2

	Замечание
	Если вы используете множество систем хранения, данный параметр должен быть помещен в раздел [default] файла /etc/cinder/cinder.conf.

Сохраните файл настройки Cinder и выйдите из редактора.

Дойдите до раздела Options defined in nova.virt.libvirt.imagebackend и добавьте:

images_type=rbd
images_rbd_pool=rbd
images_rbd_ceph_conf=/etc/ceph/ceph.conf

Дойдите до раздела Options defined in nova.virt.libvirt.volume и добавьте (замените UUID безопасности значением вашей среды):

rbd_user=cinder
rbd_secret_uuid=63b033bb-3305-479d-854b-cf3d0cb6a50c

Чтобы использовать блочное устройство Ceph для хранения образов Glance измените файл /etc/glance/glance-api.conf и добавьте:

Сохраните файл настройки Glance и выйдите из редактора.

Перед добавлением образа Glance проверьте пул образов Ceph. Поскольку мы не импортировали никакие образы, пул Ceph должен быть пустым:

# rados -p images ls

Загрузите образы, которые могут быть использованы в OpenStack через интернет:

# wget http://cloud-images.ubuntu.com/precise/current/preciseserver-cloudimg-amd64-disk1.img

[root@os-node1 glance(keystone_admin)]# wget http://cloud-images.ubuntu.com/precise/current/precise-server-cloodimg-ajnd64-diskl.img
--2014-08-26 19:39:26-- http://cloud-images.ubuntu.com/precise/current/precise-server-cloudimg-amd64-disk1.img
Resolving cloud-images.ubuntu.com... 91.189.88.141
connecting to cloud-images.ubuntu.com|91.189.88.1411:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 261227008 (249M) [application/octet-stream]
Saving to: “precise-server-cloudimg-and64-diskl.img”
100%[=============================================================================================>) 261.227.008 6.46M/s in 52s
2014-08-26 19:40:19 (4.76 mb/s) - “precise-server-cloudimg-amd64-disk1.img” saved [261227008/261227008]

[root@os-node1 glance(keystone_admin)]#

Создайте образ Glance:

# glance image-create --name=&ubuntu-precise-image& --ispublic=True --disk-format=qcow2 --container-format=ovf < precise-server-cloudimg-amd64-disk1.img

[root@os-node1 glance(keystone_admin)]# glance image-create -—name="ubuntu-precise-image" -—is-public=True
-—disk-format=qcow2 —-container-format=ovf  <  precise-server-cloudimg-amd64-disk1.img
+-------------------+--------------------------------------+
| Property          | Value                                |
+-------------------+--------------------------------------+
| checksum          | 23034c4e06f9f012099d61d4a4e5248d     |
| container_format  | ovf                                  |
| created_at        | 2014-08-26T16:49:33                  |
| deleted           | False                                |
| deleted_at        | None                                 |
| disk_format       | qcow2                                |
| id                | 249cc4be-474d-4137-80f6-dc03f77b3d49 |
| is_public         | True                                 |
| min_disk          | 0                                    |
| min_ram           | 0                                    |
| name              | ubuntu-precise-image                 |
| owner             | a84af521b50f41bba704f8dc0e1ae15d     |
| protected         | False                                |
| size              | 261227008                            |
| status            | active                               |
| updated_at        | 2014-08-26T16:50:18                  |
| virtual_size      | None                                 |
+-------------------+--------------------------------------+
[root@os-node1 glance(keystone_admin)]#

Проверьте список образов Glance,а также сделайте запрос к вашему пулу образов Ceph для получения идентификаторов образов Glance:

# glance image-list
# rados -p images ls | grep -i 249cc4be-474d-4137-80f6-dc03f77b3d49

[root@os-node1 glance(keystone_admin)]# glance image-list
+----------------------------------------+----------------------+-------------+------------------+------------+---------+
| ID                                     | Name                 | Disk Format | Container Format | Size       |  Status |
+----------------------------------------+----------------------+-------------+------------------+------------+---------+
I dll84d23-b568-49f2-9aa7-le4d2e915224   | cirros               | qcow2       | bare             | 13147648   |  active |
| 249cc4be-474d-4137-80f6-dc03f77b3d49   | ubuntu-precise-image | qcow2       | ovf              | 261227008  |  active |
+----------------------------------------+---------------------+-------------+-------------------+------------+---------+
[root@os-node1 glance(keystone_admin)]#
[root@os-node1 glance(keystone_admin)]# rados -p images ls | grep -i 249cc4be-474d-4137-80f6-dc03f77b3d49
rbd_id.249cc4be-474d-4137-80f6-dc03f77b3d49
[root@os-node1 glance(keystone_admin)]#

Вывод предыдущей команды подтверждает, что мы импортировали образ Ubuntu в OpenStack Glance, который был сохранен в томах образов Ceph.