Полная виртуализация. Базовая коммерческая редакция: Proxmox-freeNAS-Zentyal-pfSense

Когда я писал эту книгу, я хотел сохранить её достаточно простой для новичков в Linux и в то же время достаточно концептуально серъзной для ИТ профессионалов, чтобы они тоже могли найти пользу. Обладая всеми элементами командной строки и лёгкими для чтения схемами, ЭТО ТОТ атлас, на который я надеялся, когда годы тому назад вступил в виртуальную инфраструктуру!

Сегодня существует очень много методик поваренных книг по виртуализации, которые могут быстро ошеломить вас. В конечном счёте это всё легко покрывается сложной системой, которая ещё и плохо работает. В центре внимания данной книги лежит сохранение установки и настройки как можно более простыми при сохранении очень высокого уровня производительности и надежности. По завершению чтения вы можете быть уверены в следующем:

Большинство людей не хотят или не приветствуют изменения, пока их преимущества не станут исключительно положительными! Вы можете быть уверены в следующем:

Все компоненты в моей системе основаны на дистрибутивах ISO CD/DVD! Гуру Linux могут захотеть развернуть свои собственные системы, однако в этом нет никакой необходимости. Данный подход упрощает установку системы и уменьшает необходимость в квалификации для того чтобы поднять и запустить всё!

После многих лет изучения и тестирования я выбрал следующие дистрибутивы:

Linux сложен! Даже профессионалам нужна справочная документация! По этой причине я включил все элементы командной строки, которые могут вам понадобиться {Прим. пер.: за дополнительной информацией отсылаем вас к How Linux Works, 2nd Edition}. Это на самом деле пошаговое руководство! Один из ключевых принципов в нём: оставить всё простым! Виртуальные машины могут быть восстановлены за минуты, если что- то пойдёт не так. Не т необходимости в сложных raid- устройствах или сетевых настройках! Вы можете чувствовать себя спокойно, так как по завершению у вас будет чрезвычайно надёжная высокопроизводительная система!

Воспользуйтесь преимуществами современных аппаратных средств при построении совмещённых платформ! По сути вы строите хост виртуализации со встроенным сервером NAS на голом железе. Вы устанавливаете NAS просто как любую другую виртуальную машину с её ОС размещённой на виртуальном диске. Действительные диски хранения расположены внутри массива LVM и назначаются при помощи техники, называемой пробросом оборудования. Этот метод обеспечивает очень значительные производительности чтения/ записи данных! Я наблюдал непрерывные скорости пропускной способности в диапазоне 30-60 МегаБайт в секунду с применением гигабитных адаптеров.

Наибольшее преимущество состоит в том, что ваши данные НЕ хранятся в файле виртуального диска! Даже если вы разрушите свою ВМ, данные останутся в сохранности! Такой подход максимизирует использование ваших аппаратных ресурсов и делает управление, сопровождение и восстановление после сбоев НАМНОГО легче!

Например: следующие сценарии должны помочь вам осознать стоимость и преимущества!

Если какой- либо из ваших серверов выйдет из строя, единственным наиболее важным моментом для восстановления будет НЕИЗМЕННОЕ наличие ваших резервных копий ВМ. Считайте их Главными Образами Восстановления! Без них вы погибли, поэтому важно иметь так много копий, как это возможно! Моим предпочтением является выбрать некий NAS (виртуализованный или выделенный) для применения в качестве моего первичного сервера резервных копий образов ВМ. Этот сервер будет содержать NFS резервные копии образов, совместно используемые в Proxmox. Этот совместно используемый ресурс реплицируется вручную (только один раз в процессе установки) на все остальные сервера NAS в нашей системе и синхронизуется по расписанию с применением Rsync. {Прим. пер.: о ещё более совершенных методах резервного копирования ZFS, см. Главу 4. Репликация во второй книге Лукаса и Джуда по ZFS, вышедшей в апреле 2016.} Если машина выходит из строя, я могу заменить её, повторно установить Proxmox и все диски NAS, повторно установить соответствие моей резервной копии NFS и восстановить образы ВМ. Повторим: вы можете снова работать через 15 минут или даже меньше! Этот метод всегда очень хорошо мне служил и выдержал как скала проверку временем!

ХРАНИТЕ КОПИЮ НА ФЛЕШКЕ: Другой настоятельно рекомендуемый совет состоит в сохранении ваших резервных копий образов ВМ на флешку или DVD с последующим помещением их в несгораемом сейфе. Вы можете легко отметить совместно используемыми samba для чтения резервные копии ваших образов ВМ для доступа к ним с машин windows и телефонов android. Применение описанного ниже метода малых отпечатков гарантирует, что весь ваш архив резервных копий образов ВМ легко поместится на современной флешке 64-128ГБ.

Proxmox допускает два типа виртуализации, KVM и OpenVZ {Прим. пер.: начиная с Proxmox VE v.4x Open VZ заменён на LXC. подробнее...}. Ключевое отличие между ними в том, что KVM полностью виртуализован, в то время как OpenVZ виртулизован частично {Прим. пер.: довольно свободная трактовка контейнеров: см, например, LXC, Docker, Virtuozzo, а также Jail}. Хотя OpenVZ и выигрывает в производительности у KVM, во всём остальном она уступает. Мой выбор в исключительном применении KVM. Я всегда буду выбирать совместимость и простоту аварийного восстановления вместо производительности! Сегодня вы легко можете построить в одном охлаждаемом водой кристалле 8 или более ядер ЦПУ с оперативной памятью 32ГБ или даже более при реактивном ускорении!

Предпочтительный для меня подход заключается в том, что я обозначаю как виртуализацией с малыми отпечатками (small footprint virtualization). Предположим, у вас есть 2008 Windows Server с потребностью в хранении 500ГБ. Существует два подхода установки, причём оба будут работать!

В промышленных средах гибкость виртуализации с малыми отпечатками превосходит любые незначительные успехи в производительности. Это делает возможным быстрое резервное копирование и восстановление ВМ с отображениями большой ёмкости на другие физические машины. Это оказывается очень удобным если вам нужно вынуть машину для технического обслуживания.

В этой книге я не охватываю кластеризацию, поскольку она НЕ отвечает модели простоты. Кластеризация великолепна для управления большим количеством серверов через один интерфейс, однако она добавляет в систему сложность! Она также существенно полагается на хранилища с сетевой поддержкой, которые уменьшают уровни общей производительности ВМ в сравнении с установками на выделенное оборудование. При падении кластера вы можете планировать всю ночь! Сохранение ваших серверов Proxmox вне кластера по- прежнему допускает большинство восстановлений, причём они продвигаются в пределах минут!

Следующий предпочтительный подход, которым я поделюсь на основе опыта: не должно быть никаких опасностей. Любая ВМ будет работать лучше если у неё есть выделенный диск и оборудование сетевой среды. Если вы можете иметь в избытке дополнительные диски и сетевые адаптеры - это настоятельно рекомендуется!

Я полагаю, что хорошим общим правилом будет допускать не более 2 гостевых ВМ на физическое устройство. Причем, одна будет гостем с низкой пропускной способностью, в то время как может быть более высокопроизводительной. Например: контроллер домена, обрабатывающий только аутентификацию легко может совмещать диск и сетевой адаптер с многодоменным сервером электронной почты. Многодоменный веб- сервер под нагрузкой может не очень хорошо совместно использовать ресурсы с файловым сервером.

SSD диски: У меня был очень удачный опыт работы до 6 ВМ с малыми отпечатками, установленными только на одном SSD диске. При этом каждая из них имела свой выделенный сетевой адаптер!

В ПРОМЫШЛЕННЫХ РЕШЕНИЯХ ИЗБЕГАЙТЕ ХРАНИЛИЩ С СЕТЕВОЙ ПОДДЕРЖКОЙ: Хранилища такого типа обычно применяются большими компаниями для сотен серверов, причём скорость интернета является сдерживающим фактором, а скачкообразно меняющаяся производительность ожидается динамичной. Они зависят от различных протоколов, таких как GlusterFS, RBD, iSCSI и NFS. Из всех перечисленных протокол iSCSI на сегодняшний день наиболее распространён для реализаций с размерами от малых до средних. Хотя iSCSI работает и очень полезен для сред отладки, его производительность НЕ на одном уровне с установками на локально выделенное оборудование. За 10 летний период я испробовал ВСЕ мыслимые конфигурации в средах с ОЧЕНЬ солидными ресурсами! Моё заключение: Если вы ДОЛЖНЫ устанавливать ВМ с сетевой поддержкой, то это только потому, что вам не удалось построить вашу систему с достаточной системой хранения или у вас не достаточное число доступных серверов Proxmox! Если вы собираетесь отображать iSCSI таргеты, делайте это изнутри гостевой ВМ, работающей на выделенных аппаратных средствах! У вас будет достаточная производительность и вы ПОЛУЧИТЕ чрезвычайное управление резервным копированием и восстановлением.

 Приводимая ниже схема отображает систему с 3 совмещёнными серверами Proxmox. Она разработана для максимального использования ресурсов за счёт применения ВСЕХ доступных физических машин! КАЖДАЯ виртуальная машина устанавливается на выделенный диск и сетевое оборудование для наилучшей производительности работы. Установка ВМ на поддерживаемые сетью хранилища (iSCSI и NFS) может всё ещё для временных потребностей с более низкой производительностью.

Роль freeNAS-1 в системе (вариант-1)

В данной системе freeNAS-1 установлен в качестве первичного файлового сервера NAS. Он поддерживает для ваших сетевых клиентов обычные Windows(CIFS), Linux(NFS), носители, а также ftp. Он также будет размещать данные, относящиеся (НИКАКИХ ДИСКОВ РЕЗЕРВНОГО КОПИРОВАНИЯ) iSCSI таргеты для отображения изнутри гостевых операционных систем. Все совместные ресурсы реплицированы вручную при установке на freeNAS-2 и freeNAS-3, где они автоматически синхронизируются раз в час с применением Rsync. {Прим. пер.: о ещё более совершенных методах резервного копирования ZFS, см. Главу 4. Репликация во второй книге Лукаса и Джуда по ZFS, вышедшей в апреле 2016.}

Роль freeNAS-3 в системе (вариант-1)

В данной системе freeNAS-3 устанавливается для обслуживания специальных совместных ресурсов Proxmox NFS для временного хранения, контейнеров, ISO и резервных копий образов ВМ. Он будет осуществлять балансировку нагрузки размещая совместные ресурсы для резервных копий сетевых клиентов. Это также включает в себя (НИКАКИХ ДИСКОВ ДАННЫХ) iSCSI таргеты, которые должны отображаться изнутри гостевых операционных систем. freeNAS-3 может размещать iSCSI и NFS таргеты для образов ВМ Proxmox, чего, однако, следует избегать из- за ослабления производительности. Все совместные ресурсы реплицируются вручную при установке на freeNAS-1 и freeNAS-2, где впоследствии автоматически синхронизируются один раз в час с применением Rsync. freeNAS-3 доступен исключительно для сетевых клиентов для целей резервного копирования.

ВАЖНО: Существует оговорка! Поскольку freeNAS-3 является виртуальным, он не будет спосбен выполнять резервное копирование своих собственных образов ВМ! Вы ДОЛЖНЫ резервировать эти образы ВМ на различных совместных ресурсах NFS поддерживаемых freeNAS-1 (nfs.netbackups2), а затем снова применять Rsync для автоматической синхронизации наборов данных на все остальные узлы. ОТМЕТИМ: nfs.netbackups2 будет использоваться ТОЛЬКО для резервного копирования образов ВМ freeNAS-3, поскольку ВСЕ остальные резервные копии образов ВМ будут отсылаться на совместный ресурс nfs.netbackups.

Роль freeNAS-2 в системе (вариант-1)

freeNAS-2 ничего не размещает и не доступен для сетевых клиентов. Он получает резервные копии Rsync по расписанию с freeNAS-1 и freeNAS-3 для использования при восстановлении после отказов. Он также может быть использован для балансировки нагрузки обслуживая исключительно на чтение совместные ресурсы для файлов, которые сильно не изменяются.

С использованием магии Rsync все сервера NAS в конце концов содержат одни и те же наборы данных. Конечный результат заключается в полной виртуальности дел веб администрирования с 3 зеркалированными серверами NAS, active directory, управлением доменом, DHCP, DNS, межсетевым экраном, обнаружением вторжений, а также возможностями VPN!

 (Вариант-2) Оптимизированный для систем хранения с сетевой поддержкой

Приводимая ниже схема отображает систему с 2 совмещёнными серверами и одним отдельным NAS. Она разработана для максимального использования производительности системы хранения с сетевой поддержкой с применением автономного сервера freeNAS. Система хранения с сетевой поддержкой обычно применяется в больших кластерных системах. КАЖДАЯ виртуальная машина всё ещё должна устанавливаться на выделенный диск и сетевое оборудование для наилучшей производительности при работе. Такая система предлагает весьма приемлемую производительность при установке ВМ на таргетах iSCSI или NFS. Она также обеспечивает исключительную производительность резервного копирования образов за счёт использования целого слота в вашей серверной стойке. Здесь существует ещё один нюанс! Если автономный freeNAS-3 откажет по причине аппаратного сбоя, вы, возможно не будете работать 6 часов или даже больше пока вы не получите идентичное оборудование для замены.

Роль freeNAS-1 в системе (вариант-2)

В данной системе freeNAS-1 всё ещё установлен в качестве первичного файлового сервера NAS. Он содержит для ваших сетевых клиентов обычные Windows(CIFS), Linux(NFS), носители, а также ftp. Он также будет размещать данные, относящиеся (НИКАКИХ ДИСКОВ РЕЗЕРВНОГО КОПИРОВАНИЯ) iSCSI таргеты для отображения изнутри гостевых операционных систем. Все совместные ресурсы реплицированы вручную при установке на freeNAS-2 и freeNAS-3, где они автоматически синхронизируются раз в час с применением Rsync. {Прим. пер.: о ещё более совершенных методах резервного копирования ZFS, см. Главу 4. Репликация во второй книге Лукаса и Джуда по ZFS, вышедшей в апреле 2016.}

Роль freeNAS-3 в системе (вариант-2)

В данной системе freeNAS-3 устанавливается для обслуживания специальных совместных ресурсов Proxmox NFS для временного хранения, контейнеров, ISO и резервных копий образов ВМ. Он будет осуществлять балансировку нагрузки размещая совместные ресурсы для резервных копий сетевых клиентов. Это также включает в себя (НИКАКИХ ДИСКОВ ДАННЫХ) iSCSI таргеты, которые должны отображаться изнутри гостевых операционных систем. freeNAS-3 может размещать iSCSI и NFS таргеты для образов ВМ Proxmox, чего, однако, следует избегать из- за ослабления производительности. Все совместные ресурсы реплицируются вручную при установке на freeNAS-1 и freeNAS-2, где впоследствии автоматически синхронизируются один раз в час с применением Rsync. freeNAS-3 доступен исключительно для сетевых клиентов для целей резервного копирования.

Главное отличие: при производительности голого железа он теперь может быть применён для размещения iSCSIтаргетов для образов ВМ Proxmox. Применение драйверов iSCSI с множественностью путей при сетевой среде высокого качества даёт очень приемлемые производительности при тестировании критически важных сред.

Роль freeNAS-2 в системе (вариант-2)

freeNAS-2 ничего не размещает и не доступен для сетевых клиентов. Он получает резервные копии Rsync по расписанию с freeNAS-1 и freeNAS-3 для использования при восстановлении после отказов. Он также может быть использован для балансировки нагрузки обслуживая исключительно на чтение совместные ресурсы для файлов, которые сильно не изменяются.

С использованием магии Rsync все сервера NAS в конце концов содержат одни и те же наборы данных. Конечный результат заключается в полной виртуальности дел веб администрирования с 3 зеркалированными серверами NAS, active directory, управлением доменом, DHCP, DNS, межсетевым экраном, обнаружением вторжений, а также возможностями VPN!

 (Вариант-3) Простое перемещение маршрутизатора с отключением

Схема ниже отображает систему с 3 совмещёнными серверами Proxmox. Путём добавления простого 5- портового коммутатора и некоторого хорошо продуманного планирования становится возможным помещение маршрутизатора pfSense между Proxmox1 и Proxmox2. Данная система разработана для максимального применения ресурсов путём использования ВСЕХ доступных физических машин! КАЖДАЯ виртуальная машина устанавливается на выделенный диск и сетевое оборудование для лучшей производительности при работе. Установка ВМ на систему хранения с сетевой поддержкой (iSCSI и NFS) всё ещё могут применяться для временных потребностей с меньшей производительностью.

Роль freeNAS-1 в системе (вариант-3)

В данной системе freeNAS-1 установлен в качестве первичного файлового сервера NAS. Он содержит для ваших сетевых клиентов обычные Windows(CIFS), Linux(NFS), носители, а также ftp. Он также будет размещать данные, относящиеся (НИКАКИХ ДИСКОВ РЕЗЕРВНОГО КОПИРОВАНИЯ) iSCSI таргеты для отображения изнутри гостевых операционных систем. Все совместные ресурсы реплицированы вручную при установке на freeNAS-2 и freeNAS-3, где они автоматически синхронизируются раз в час с применением Rsync. {Прим. пер.: о ещё более совершенных методах резервного копирования ZFS, см. Главу 4. Репликация во второй книге Лукаса и Джуда по ZFS, вышедшей в апреле 2016.}

Роль freeNAS-3 в системе (вариант-3)

В данной системе freeNAS-3 устанавливается для обслуживания специальных совместных ресурсов Proxmox NFS для временного хранения, контейнеров, ISO и резервных копий образов ВМ. Он будет осуществлять балансировку нагрузки размещая совместные ресурсы для резервных копий сетевых клиентов. Это также включает в себя (НИКАКИХ ДИСКОВ ДАННЫХ) iSCSI таргеты, которые должны отображаться изнутри гостевых операционных систем. freeNAS-3 может размещать iSCSI и NFS таргеты для образов ВМ Proxmox, чего, однако, следует избегать из- за ослабления производительности. Все совместные ресурсы реплицируются вручную при установке на freeNAS-1 и freeNAS-2, где впоследствии автоматически синхронизируются один раз в час с применением Rsync. freeNAS-3 доступен исключительно для сетевых клиентов для целей резервного копирования.

ВАЖНО: Существует оговорка! Поскольку freeNAS-3 является виртуальным, он не будет спосбен выполнять резервное копирование своих собственных образов ВМ! Вы ДОЛЖНЫ резервировать эти образы ВМ на различных совместных ресурсах NFS поддерживаемых freeNAS-1 (nfs.netbackups2), а затем снова применять Rsync для автоматической синхронизации наборов данных на все остальные узлы. ОТМЕТИМ: nfs.netbackups2 будет использоваться ТОЛЬКО для резервного копирования образов ВМ freeNAS-3, поскольку ВСЕ остальные резервные копии образов ВМ будут отсылаться на совместный ресурс nfs.netbackups.

Роль freeNAS-2 в системе (вариант-3)

freeNAS-2 ничего не размещает и не доступен для сетевых клиентов. Он получает резервные копии Rsync по расписанию с freeNAS-1 и freeNAS-3 для использования при восстановлении после отказов. Он также может быть использован для балансировки нагрузки обслуживая исключительно на чтение совместные ресурсы для файлов, которые сильно не изменяются.

С использованием магии Rsync все сервера NAS в конце концов содержат одни и те же наборы данных. Конечный результат заключается в полной виртуальности дел веб администрирования с 3 зеркалированными серверами NAS, active directory, управлением доменом, DHCP, DNS, межсетевым экраном, обнаружением вторжений, а также возможностями VPN!