Под капотом SDDC

Итак, три наших основных слагаемых в железном уравнении это: процессоры, хранилища и сети.

До недавнего времени процессоры можно было условно делить на Центральные процессоры и вспомогательные процессоры, прежде всего GPU. Конечно, и центральный процессор мог брать на себя львиную долю вычислений, однако, порой, проще выносить вычисления в специализированные вычислительные фермы. И это прекрасно. Похоже, что эти стереотипы начинают меняться. Intel уверенно заявляет о том, что он готов вам предоставлять внутри одного процессора какие угодно ядра. И это не только Xeon Phi™ x200. Уже сейчас можно знакомиться с процессорами имеющими ядра x86 наряду с FPGA и, пользуясь инструментарием производителя, создавать своё ядро под собственные нужды.

Современные процессоры давно взяли в свой руки управление памятью (включив в свой состав контроллер памяти). И мы перестали удивляться тому, что за справкой о максимальным объёмом поддерживаемой памяти мы обращаемся не к спецификации материнской платы, а к описанию её Центрального процессора. Но теперь, вслед за процессорами SPARC в исполнении Fujitsu, взявшими себе на борт ядра контроллера для обеспечения интерконнекта шестимерного тора Tofu, уже упоминавшийся Xeon Phi™ x200 может брать к себе на борт "убийцу" Infiniband OmniPath. Раз нас уже не удивляет торчащая из верхней крышки процессора связка электрических проводов, почему нас должна удивить замена в этой связке меди на оптику? Запомним это словосочетание: Silicon Photonics.

Не сбрасывая со счетов архитектуры MIPS (включая Байкал Т1) и Эльбрус, которые теоретически могут применяться в специализированных средах виртуализации, перечислим основные присутствующие на современном рынке серверных решений процессоры:

Как мы уже говорили, современные процессоры, как правило, имеют встроенный контроллер памяти. От правильной организации его работы очень сильно зависит та эффективность производительности всей системы, на которую вы можете рассчитывать. Обращаем Ваше внимание на необходимость корректной настройки работы NUMA/ NUMA-CC и RDMA! Также стоит изучить вопрос с количеством каналов памяти, которое поддерживает контроллер (сейчас это, как правило, 4, хотя у процессоров x200 уже шесть каналов памяти) и заполнять планками памяти все имеющиеся каналы памяти, что существенно повышает полосу пропускания массивных операций обмена данных с оперативной памятью.

При построении обсуждаемых нами решений мы ожидаем от них надёжной работы с нужным нам числом девяток в процентном соотношении времени постоянной работы. Обычно это предполагает тщательный выбор самих аппаратных средств, их производителя, а также рассмотрения вопросов избыточности и резервирования. Парадоксальным явлением в данном классе решений является тот факт, что начиная с некоторого масштаба сами применяемые в данном виде инфраструктуры технологии и средства предоставляют необходимые способы решения проблем взаимозаменяемости, миграции решений и их эластичности, которые допускают применение недорогих унифицированных средств, которые легко могут быть извлечены из системы для ремонта и восстановительных работ в случае их выхода из строя, причём без каких- либо существенных проблем для работы системы в целом. Естественно, всякая стратегия имеет свои границы допустимости и в погоне за стоимостью необходимо знать меру.

Итак, существенным для платформы является как удобство самой её конструкции в плане манипуляции с ней (например, по выниманию из стойки и отсоединению кабелей питания и интерконнекта), а также доступности и возможности замены отдельных её компонентов без остановки всей системы (смена блока питания, вентилятора, жёсткого диска, контроллера и даже планок памяти процессоров и материнских плат - да-да: например, серверы Fujitsu PRIMEQUEST позволяют делать замену материнки по- горячему). Если заглянуть вовнутрь, рекомендуется применять дублирование сетевых контроллеров и контроллеров дисков, проверить наличие дублирующих путей для всех существенных Вам шин данных (например, возможность использования SAS вместо SATA, благо сами устройства не имеют существенной разницы в стоимости). С точки зрения "пощупать руками" и "попробовать на зуб" имеет смысл посмотреть на качество контактов в разъёмах и райзерах, а также толщину применяемых производителем проводников. Будет обидно если контакты в райзере вашего сервера выдерживают не более двух- трёх операций вставки- выемки платы контроллера. Из личного опыта: существует производитель (и мы его знаем!), который настолько уверен в качестве разводки питания и заземлений в своей платформе, что не требует дополнительных кабелей от блока питания для работы в ней самых мощных GPU! Информацию для размышления о качестве платформы могут Вам предоставить допустимые в ней температурный режимы. Например, гарантия полной работоспособности в режиме 24x7 в течение 3 лет при температуре на входе в систему 45°Ц и допустимость работы на протяжении нескольких часов при повышении этой температуры до 60°Ц говорят о многом.

Мы не будем заострять внимание на необходимости в сервере контроллера BMC и наличии интерфейса IPMI, ведь пожалуй, это одно из самых первых отличий серверного оборудования от бытового. Объём показателей и замеров, которые вы можете получать через данный интерфейс в качестве сведений о состоянии своей системы также может численно характеризовать качество Вашей платформы.

Существенным моментом при выборе платформы являются предлагаемые ею варианты начальной загрузки. В настоящее время практически все предлагающиеся на рынке сервера имеют вместо BIOS встроенное программное обеспечение (Firmware) с интерфейсом UEFI, который снимает ограничения, имевшиеся у BIOS (например, невозможность выполнения загрузки с дисков, имеющих размер более 2ТБ), а также предоставляет удобные службы загрузки, управления ею, поддержки дисковых устройств и т.п., что позволяет выполнять инициализацию платформ с применением всевозможных носителей загрузочной информации. Из имеющихся сегодня таких носителей напомним о существовании спецификации PXE - среды сетевой загрузки и устройств SATA DOM, очень удобных для предоставления образов начальной загрузки для UEFI.

При выборе подходящей платформы для вашего решения хорошей отправной точкой может быть знакомство с эталонными архитектурами, предлагаемыми производителями для облачных инфраструктур. Рекомендации по оборудованию для решений на основе Microsoft Windows Server 2016 от производителей основных торговых марок начнут появляться к окончанию весны 2017, но, в принципе, вполне подходящими могут оказаться и широко распространённые рекомендации для выбора аппаратных решений OpenStack. То же относится и к Proxmox, VMware, XenServer а также прочим решениям SD DC, поскольку по существу все эти решения основываются на одних и тех же имеющихся на рынке широко распространённых средствах и технологиях. В качестве примера можем посоветовать свой перевод Эталонной архитектуры для компактного облачного решения с применением Mirantis OpenStack 9.1 и оборудования Dell EMC, а также наш перевод официального руководства Ceph. Рекомендации по оборудованию. Неплохой обзор решений конкурентов на конец 2016г предоставила фирма Huawei с точки зрения поддержки ими NVMe. Далее, после краткого обзора современных особенностей платформ, приводится краткое перечисление платформ различных производителей, которые мы легко можем вам предложить.

 

Установка ОС через iBMC

Практически все современные серверные системы предоставляют возможности установки Операционной Системы при помощи средств iBMC (через протокол IPMI). Причём, практически все они поддерживают теперь HTML5, работать в котором несравненно удобнее, нежели через Java интерфейс. У каждого производителя могут быть свои нюансы, но основная последовательность действий в целом одна и та же (мы рассматриваем ввариант с интерфейсом HTML5):

 

Пример установки сервера Huawei

 

Пример установки сервера Supermicro

 

Бифуркация PCIe, при наличии соответствующей поддержки со стороны адаптера и его драйвера, делает возможным избежания "бутылочного горлышка" при использовании для обмена с таким адаптером шин PCIe только в одном адаптере. Её наличие в платформе помогает оптимизировать транспортные потоки данных и снижать уровень латентности. Например, слот PCIe, обладающий свойством бифуркации с 16ю lane PCIe может быть разделён на четыре части, по четыре lane каждому из четырёх имеющихся ЦПУ, в отличие от ситуации при которой все 16 lane, допустим, поступают в управление первому ЦПУ и весь обмен между вторым, третьим и четвёртым ЦПУ с таким адаптером должен осуществляться через первый ЦПУ, что увеличивает задержки и конфликты, а также отвлекает ресурсы первого ЦПУ. Пример использования: контроллеры PCIe в одном слоте, поддерживающие несколько NVMe устройств.

 

Bull®

Bull Atos Technologies выпускает широкий спектр решений для применения в области высокопроизводительных и облачных приложениях от обычных монтируемых в стойку систем до блейд систем bullx b700 range с прямым жидкостным охлаждением и суперплотных решений bullx S6000 supernode.

Диапазон bullx R4xx снабжает вас семейством монтируемых в стойку эффективных в стоимостном выражении высокопроизводительных вычислительных модулей, поддерживающих непрерывную работу с с процессорами Intel® Xeon® И GPU NVIDIA® Tesla™ ИЛИ Intel® Xeon Phi™ самых последних моделей.

bullion™ состоит из диапазона 4 взаимодополняющих модулей на основе процессоров Intel® Xeon® E7 v4. Они совместно используют одни и те же инновационные технологии от 2 до 16 ЦПУ с максимальной ёмкостью ОЗУ до 24ТБ. Простым добавлением 3U модулей вы получаете доступ к конфигурациям, имеющим от 8 до 384 ядер для кластеров ВМ, критически важных баз данных или In-Memory приложений. Помимо этого, для большей динамичности, серверы bullion™ предлагают инновационную разработку подключаемых "по- горячему" лезвий памяти и ввода/ вывода. В довершение всего, bullion™ предоставляют блоки хранилищ, принимающие диски SAS/SSD или NL-SAS с ёмкостью до 2 ПБ на отдельный сервер. Такая среда хранения идеальна для приложений Hadoop или интенсивных аналитических расчётов.

 

Dell®

В качестве основных моделей платформ, рекомендуемых данным производителем под облачные решения выступают серверы Dell EMC PowerEdge R630 и R730xd.

Dell EMC PowerEdge R630 представляет собой монтируемый в стойку двухсокетный сервер PowerEdge R630 предоставляет бескомпромиссные плотность и производительность в 1U. Часть серверов PowerEdge 13го поколения, а именно R630, являются идеальными для виртуализации. Процессор и плотность памяти заполняющая до 24 DIMM DDR4 ОЗУ предоставляют великолепную пропускную способность оперативной памяти.

Dell EMC PowerEdge R730xd - Невероятная универсальность сервера PowerEdge R730xd обеспечивает выдающуюся функциональность всего в 2U стоечного пространства. При помощи семейства процессоров Intel® Xeon® E5-2600 v4 и до 24 DIMM DDR4 ОЗУ, R730xd имеет необходимые тактовые частоты и треды обработки для предоставления большего, крупнейшего и высоко- производительного хранилища для виртуальных машин. Широко масштабируемое хранилище, поддерживающее до шестнадцати 12Gb SAS дисков и высокопроизводительный RAID контроллер Dell PowerEdge H730, могут великолепно ускорить доступ к данным для вашей виртуальной среды.

 

Fujitsu®

Компания Fujitsu является традиционным игроком на рынке высокопроизводителных и облачных вычислений, являясь производителем широкого вида продукции, начиная с процессоров SPARC для серверов Sun/ Oracle и HPC систем, а также собственной системы интерконнекта Tofu, заканчивая мэйнфреймами BS2000 и широким диапазоном серверов с архитектурой x86 от простейших однопроцессорных серверов вплоть до отказоустойчивых систем с высочайшей в отрасли доступности линейки PRIMEQUEST. Особым образом стоит отметить проприетарную систему Ceph FUJITSU ETERNUS CD10000 S2, оставляющую, тем не менее, пользователю возможность отказа от сопровождения компанией и перехода к редакции сообщества.

Fujitsu PRIMERGY RX2530 M2 — это двухпроцессорный стоечный сервер, обеспечивающий высокую производительность благодаря новым процессорам Intel® Xeon® семейства E5-2600 v4, возможностям расширения до 1536 ГБ памяти DDR4 и подключения до 10 устройств хранения данных размером 2,5 дюйма. И все это в компактном корпусе высотой 1U. Таким образом, PRIMERGY RX2530 M2 является оптимальной системой для виртуализации и горизонтального масштабирования, небольших баз данных, а также для высокопроизводительных вычислений.

Fujitsu PRIMERGY RX2540 M2 — новый двухпроцессорный стоечный сервер высотой 2U, обеспечивающий высокие стандарты удобства использования, масштабируемости и экономической эффективности. Процессоры Intel® Xeon® семейства E5-2600 v4 в сочетании с технологией памяти DDR4 объёмом до 1,5 ТБ гарантируют увеличение производительности и удовлетворение требований к обработке данных в ЦОД, корпоративных приложениях, а также решениях для совместной работы. Модульная конструкция обеспечивает превосходную расширяемость – до 24 дисковых накопителей, до 8 разъёмов расширения PCIe Gen 3, а также, благодаря двум блокам питания с возможностью горячей замены, лучшую в своём классе энергоэффективность до 96%, обеспечивая возможность справляться с ростом объёмов данных в будущем. И наконец, технология DynamicLoM позволяет гибко конфигурировать сетевую инфраструктуру, обеспечивая возможность внесения необходимых изменений в будущем. Технология Cool-safe® Advanced Thermal Design обеспечивает работу сервера в условиях повышенной температуры окружающей среды, уменьшая текущие расходы.

Fujitsu PRIMERGY CX400 M1 помогает решить трудные проблемы, с которыми сейчас сталкиваются компании, исследовательские институты и институты развития. Система высотой всего 2U содержит до 4 серверных узлов, 8 процессоров Intel® Xeon® и 64 DDR4 памяти DIMM, обеспечивая самую высокую производительность и энергоэффективность. Расширением данного класса являются серверы Fujitsu PRIMERGY CX600 M1, являющиеся идеальным выбором для приложений, интенсивно использующих параллельные вычисления. Решение CX600 предназначено для высокопроизводительных вычислений в сфере научных исследований, разработки и бизнес-аналитики. Благодаря процессорам Intel® Xeon Phi™, поддерживающим до 72 ядер, этот модульный сервер предоставляет собой идеальное решение для рабочих нагрузок, при обработке которых требуется высокая степень параллелизма потоков, большие векторы и дополнительная пропускная способность памяти.

 

Inspur®

Inspur является одним из лидирующих поставщиков комплексных решений для центров обработки данных и облачных вычислений. Технологические возможности компании позволяют предоставлять полный стек услуг Cloud от IaaS и PaaS до SaaS. Мы получили широкое признание в качестве лидера в области вычислительной техники, а так же проектирования и производства серверного оборудования.

Inspur Yingxin NF5170M4

Inspur Yingxin NF5280M4

Inspur SmartRack может гибко настраиваться с разнообразными узлами, источниками питания с различным числом вентиляторов в соответствии с требованиями серверных помещений пользователя и свободно расширяет число узлов для соответствия различным требованиям приложений пользователя; Централизованное электроснабжение даёт преимущество, заключающееся в том, что совместное использование большим числом узлов привносит более высокую эффективность преобразования энергии и, следовательно, общие преимущества совокупного владения. Доставка стойки в сборе и централизованных функций удалённого управления, мониторинга и надзора могут существенно расширить эффективность внедрения оборудования: Традиционные серверы имеют эффективность ввода в эксплуатацию порядка 300узлов в день; SmartRack имеет эффективность 60~105 стоек в день, или до 4000 узлов в день. Эффективность такого развёртывания даёт в результате 10 кратное увеличение!

 

Huawei®

Тремя стандартными надёжными лошадками у этого производителя являются сервера RH1288/ 2288/ 5288, но помимо них рекомендуем обратить внимание на блейд- решение Huawei E9000v3, которое зачастую может оказаться более экономичным. Например, см. вариант реализации облачных вычислений в МФТИ (ГУ) в материалах презентации Национального Суперкомпьютерного Форума (НСКФ-2015), Переяславль- Залесский, 2015-11-25. А также представление решения 2016 года для кластера высокопроизводительных вычислений. Все серверы этого производителя поддерживают SATA DOM.

Huawei FusionServer RH1288 V3 - Стоечные серверы RH1288 V3 Huawei позволяют строить рентабельные, энергоэффективные, компактные и высокопроизводительные сети с упрощённым управлением и обслуживанием в 1U пространства.

Huawei FusionServer RH2288H V3 - Стоечный сервер высотой 2U оснащён двумя процессорами Intel® Xeon® E5-2600 V3/V4. Максимальное число модулей памяти DIMM DDR4 — 16, в одно шасси можно установить 16 жёстких дисков 3,5-дюйма или 28 жёстких дисков 2,5-дюйма. В каждый слот PCIe 3.0 (максимально 6) можно установить двухслотовую плату GPU. Использование твердотельных накопителей с интерфейсами PCIe и NVMe производства Huawei позволяет повысить скорость операций ввода-вывода по сравнению с жёсткими дисками. Сервер RH2288 V3 отличается оптимальным соотношением производительности и плотности размещения при высоте всего 2U.

Huawei FusionServer RH5288 V3 - Стоечный сервер высотой 2U оснащён двумя процессорами Intel® Xeon® E5-2600 V3/V4. Максимальное число модулей памяти DIMM DDR4 — 16, в одно шасси можно установить до 40 жёстких дисков 3,5-дюйма. Также применяет твердотельные накопителей с интерфейсами PCIe и NVMe производства Huawei. Сервер RH5288 V3 отличается оптимальным соотношением производительности и плотности размещения при высоте 4U.

 

Hewlett Packard Enterprise®

HPE предоставляет широкий диапазон современных решений для организации Программно управляемых решений Центров обработки данных. В качестве примера можно привести HPE OneView, которая является интегрированной конвергентной платформой, которая автоматизирует задачи и организует доставку обработки всего управления жизненным циклом имеющейся инфраструктуры по ресурсам вычисления, хранения и архитектуры связности. ИТ персонал может программно управлять ресурсами посредством унифицированного API, что делает простой интеграцию с рабочими потоками и применяемыми сегодня инструментами управления. В качестве типового аппаратного решения предлагается HPE ConvergedSystem 700, строящаяся на основе HPE ProLiant BL460 и/ или HPE ProLiant DL360/DL380. Подробнее см., например, Официальное техническое описание Эталонной конфигурации HPE для облачного решения SUSE OpenStack Cloud с HPE OneView.

В качестве промышленно законченного решения для построения облачных систем HPE предлагает систему Helion CloudSystem, предоставляющую автоматизацию, координацию и управление для множества облачных решений. Helion CloudSystem предоставляется в двух редакциях: корпоративной и редакции сообщества. Подробности в Официальном техническом описании ПО-как-служба с Корпоративной безопасностью HPE Helion CloudSystem, Интеграция службы Защитника безопасности приложений HPE с технологией OpenStack.

HPE ProLiant DL360 Gen9 Сервер HPE ProLiant DL360 9-го поколения поставляется с одним или двумя процессорами в корпусе высотой 1U. Это оптимальное решение, отличающееся высокой производительностью, низким уровнем энергопотребления, увеличенным временем бесперебойной работы и повышенной компактностью. В сервере используются новейшие процессоры Intel E5-2600 v4, повышающие производительность на 21%, а также новейшие модули памяти HPE SmartMemory DDR4 (2400 МГц) ёмкостью до 3 ТБайт, быстродействие которых выросло на 23%. Автоматизация наиболее важных задач управления жизненным циклом сервера DL360 9-го поколения при помощи ПО OneView и iLO упрощает развёртывание, обновление, мониторинг и обслуживание серверов в любой ИТ-инфраструктуре.

HPE ProLiant DL380 Gen9 Самый популярный в мире сервер стал ещё лучше. Сервер HPE ProLiant DL380 9-го поколения обеспечивает лучшие на сегодня производительность и масштабируемость. Надёжность, удобство обслуживания и практически постоянная доступность в сочетании с комплексным гарантийным обслуживанием делают его идеальным серверным решением в любой ИТ-среде. Поддерживаются устройства SAS 12 Гбит/с, сетевые адаптеры 40 Гбит/c и широкий набор вычислительных средств. HPE Persistent Memory является первой в мире энергонезависимой памятью DIMM (NVDIMM), оптимизированной для серверов ProLiant. Она обеспечивает исключительный уровень производительности для баз данных и рабочих нагрузок аналитических приложений. Сервер прост в развёртывании и подходит для работы как базовых, так и критически важных приложений.

HPE ProLiant BL460 Gen9 Блейд-серверы HPE ProLiant BL460c Gen9 поддерживают множество вариантов конфигурации и развёртывания. Они помогают оптимизировать работу основных приложений и обеспечивают необходимую ёмкость хранения для соответствующих нагрузок при низкой общей стоимости владения. Помимо всего прочего, поддерживаются различные варианты реализации многоуровневой системы хранения, в том числе накопители SAS 12 Гбит/с и NVMe M.2, сетевые адаптеры FlexibleLOM 20 Гбит/с и энергонезависимая память HPE ProLiant.

 

Lenovo®

Оборудование платформ Lenovo предоставляет идеальные решения для облачных размещений. Эти серверы предоставляют широкий диапазон формфакторов, свойств и функциональности, которые необходимы для соответствия потребностям малого бизнеса всех вариантов вплоть до больших корпораций. Lenovo также применяет корпоративные стандарты в управлении системами на всех этих платформах, которые делают возможной бесшовную интеграцию с инструментами управления облаками, например, такими как OpenStack, Proxmox, VMware, XenServer, Windows Server 2016. В качестве примера рекомендуем Эталонную архитектуру для платформы Red Hat OpenStack.

Lenovo System X3550 M5 - Универсальный монтируемый в стойку двухсокетный сервер высотой 1U годится для решения практически любой задачи — от поддержки инфраструктуры до обработки больших данных — с высочайшей степенью надёжности. Сервер укомплектован двумя процессорами Intel® Xeon® серии E5-2600 v4 (в максимальной комплектации, 44 ядра на систему), высокопроизводительной энергоэффективной памятью TruDDR4 и поддерживает подключение до 12 накопителей. На 22 % больше ядер, чем у предшественника и оперативная память частотой до 2400 МГц. Сервер x3550 M5 не просто работает — он летает.

Lenovo System X3650 M5 Этому мощному универсальному монтируемому в стойку серверу в форм-факторе 2U с двумя сокетами можно доверить ещё больше круглосуточных бизнес-задач и быстрее получить качественные результаты. Благодаря двум процессорам серии Intel® Xeon® E5-2600 v4 (до 44 ядер на систему), высокопроизводительной памяти TruDDR4 2400 МГц и большому объёму хранилища сервер x3650 M5 исключительно силен в работе. На выбор предлагается впечатляющий набор конфигураций хранения (до 28 отсеков для дисков) для решения самых разнообразных задач — от облачных вычислений до обработки больших данных.

 

Mdl®

Если одним из ваших основных критериев является экономия стоимости, либо вам необходимы конфигурации, обладающие специфическими требованиями, мы готовы прийти вам на помощь. Самые разнообразные платформы по вашему выбору доступны из наших собственных производственных мощностей с предоставлением сервиса по всей территории РФ и ряда зарубежных стран. Полный диапазон решений от 1U до полнофункционального ЦОДа, включая решения для домашнего пользования.

Если Вам нужно уложиться в некий ограниченный бюджет, например, в 100-150 тыр. за монтируемый в стойку сервер, Вы не ошиблись адресом!

Если коротко, то в отношении дисковых устройств в настоящее время надо:

Давайте по порядку. RAID контроллер является существенно интеллектуальным устройством. По этой причине он вносит значительную латентность в сохранение данных, что уже не очень хорошо, а также связанные с этим проблемы: энергонезависимость, согласованность данных и т.п. Помимо этого, RAID контроллеры, как правило, маскируют внутренние данные самих устройств (например, S.M.A.R.T.), что никак не способствует их централизованному мониторингу и попыткам предсказания необходимости замены. Да, диски- расходный материал. К этому надо привыкать и современные системы хранения работают именно исходя из этого. Эпоха RAID контроллеров была обусловлена неспособностью процессоров и каналов памяти справляться с задачами, сопровождающими процесс сохранения данных. Сегодня это уже не так. Все возможные массивы хранения данных можно строить поверх самих устройств хранения. При этом даже самые сложные задачи вычисления избыточных контрольных сумм прекрасно выполняют имеющиеся в изобилии ядра ЦПУ. Помимо этого, на арену выходят технологии ASIC по разгрузке ЦПУ от вычисления подобных контрольных сумм. Так что, по возможности, воздерживаемся от применения RAID контроллеров и переходим на HBA контроллеры. Что, кстати, может оказаться существенной экономией. Общая идея: хранилища нам нужны чтобы как можно быстрее выполнять с ними необходимые операции ввода/ вывода, причём со 100% надёжностью. Всё лишнее на этом пути надо удалять.

Некоторые производители жёстких дисков (а их и так не сильно больше трёх!) уже прекратили выпуск дисков с 15 тысячами оборотов шпинделя в минуту. Они всё равно медленнее и при этом дороже чем SSD. Так что, до свидания, 15k! Наверное, эта тенденция сохранится (10k 2.5", например).

Современные шпиндельные NL- диски, наконец- таки, имеют разницу в стоимости моделей SAS и SATA всего в несколько долларов США. Это при том, что когда вы создаёте серьёзное промышленное решение, вы, скорее всего, применяете именно SAS контроллеры, рассчитывая подключать в одном шасси достаточное число дисковых устройств и при этом предоставить им широкую полосу пропускания при избавлении конкуренции за канал доступа к шинам более верхнего уровня (PCIe, например). Так что, не лишайте себя возможности организации множества путей! Не забываем суммировать пропускные способности всех дисковых устройств и сопоставлять их с имеющимися каналами: помним, что самая напряжённая работа ожидает ваши диски именно после выхода из строя одного из своих собратьев: им необходимо восстановить всю имевшуюся на умершем информацию (см. таблицу). Кстати, именно по этой причине в качестве стандарта хранения в настоящее время, как правило, принято иметь две копии (три экземпляра данных, аналог RAID6) - при восстановлении данных увеличивается вероятность выхода из строя ещё одного устройства хранения!

В то время, как SATA/ SAS диски (как шпиндельные, так и SSD) ограничены единственной очередью команд AHCI, новый интерфейс NVMe допускает 64k очередей, причём по 64k команд в каждой. Во многом это обусловлено отказом от традиции адресации цилиндр- головка- сектор. Лежащие в основе твердотельных устройств хранения микросхемы, как и оперативная память, имеют прямую адресацию! Итак, интерфейс NVMe освобождён от необходимости большей части блокировок, сопровождающих наши шпиндельные устройства, которые вынуждены оптимизировать доступ головок к цилиндрам вращающихся пластин диска. И всех сложных алгоритмов их сопровождающих, часть из которых незаслуженно перекочевала в имеющиеся сегодня SSD диски. Осталось дождаться снижения уровня жадности производителей контроллеров NVMe. Для оценки рынка имеющихся решений советуем ознакомиться с обзором Huawei, делая скидку на право автора быть первым. По крайней мере в помыслах. Считаем бюджет и сопоставляем со своими потребностями.

SMB3 может работать поверх RDMA и при этом применять несколько соединений в одном канале (многоканальность), а также выполнять шифрование AES 128 CCM и проверку целостности предварительной аутентификации с применением хеширования SHA-512, что существенно увеличивает производительность данного метода доступа. В настоящее время со стороны SMB3 применяются две реализации RDMA: RoCE (RDMA over Converged Ethernet) и iWARP (internet Wide Area RDMA). Разгрузкой ЦПУ от обработки сетевых пакетов при соответствующей настройке драйвера сетевого интерфейса (или микрокода/ firmware соответствующего устройства) и наличии такой аппаратной поддержки, призван заниматься TOE (TCP Offload Engine, механизм разгрузки TCP. Помимо этого, существенный вклад в производительность привносят DCB (DataCenter Bridging) и PFC (Priority Flow Control). DCB представляет собой последовательность стандартов, которые определяют механизмы контроля потока данных и управления полосой пропускания в сетевой среде, что, в конечном итоге, способно обеспечить требующиеся вам уровни качества обслуживания. Отсутствие DCB, например, потворствует созданию мифа о том, что FC имеет в разы большую пропускную способность в сравнении с FCoE при сопоставимых пропускных способностях каналов. Если вы собираетесь применять iSCSI- вам определённо необходим DCB. В конечном итоге, всё что мы здесь обсуждаем относится к понятию гиперконвергентности. И, по всей видимости, не далёк тот день, когда мы сможем подключать дисковые устройства напрямую в среду Ethernet. Если оно нам потребуется.

О пользе таблеток SATA- DOM мы уже говорили, обсуждая процесс загрузки платформ. Нельзя не упомянуть их здесь, поскольку они освобождают нас от выделения полноценных "карманов" 1.8/2.5/3.5 дюйма под операционную систему на сервере, основная цель которого быть хранилищем данных! Достаточно одной таблэтки. А две ещё лучше!

Мы собираемся раскрыть Вам страшную тайну. Великую тайну. Большой секрет чёрного ящика, под названием система хранения данных. Если Вы ещё не являетесь обладателем этого сокровенного знания. А вдруг? Конечно, мы, как системный интегратор, абсолютно ничего не имеем против выпускаемых ведущими мировыми производителями хранилищ. Мы готовы порассуждать о громадном количестве преимуществ VxWorks в качестве бортовой операционной системы и неустанно повторять вслед за вендорами истории разработки микрокодов, алгоритмов и ухищрений, которые позволяют Вам спокойно спать по ночам, а порой даже покидать свой Центр обработки данных на более длительный срок и отправляться в отпуск, где Вы лишь изредка следите за парой ключевых параметров. Ну, парой десятков, да. Ленивые ждут звонка с сообщением об отключении электропитания. Ещё более ценное в этих системах то, что если с ними что- то и происходит, то все вопросы идут в центр тех поддержки. Да. Пока вы её оплачиваете. Но стоимость этой поддержки растёт вместе с возрастом системы. Хорошо, когда, как в случае с уже упоминавшейся FUJITSU ETERNUS CD10000 S2 вы можете осуществлять самостоятельно осуществлять поддержку при помощи открытого сообщества по окончанию платежей за сопровождение производителю. Да мы верим в это. Или очень хотим верить. Ведь иногда дающая деньги рука вдруг пропадает. А системе хранения уже немало лет. И падают сразу оба контроллера с супернадёжными x86 процессорами сразу оба. И кэш пропадает. Так, например, недавно было у наших коллег на одной системе хранения очень известного производителя. Постойте, x86? А что ещё знакомого? Заглянем- ка вовнутрь! Наши коллеги смогли вытащить данные, так как внутри оказался ZFS. Внезапно вдруг.

Самая большая тайна состоит в её отсутствии. Да, большинство систем хранения в своей основе применяют программные средства с открытым исходным кодом. Да, производитель дотачивает её. Но современные программные средства позволяют Вам строить мощные системы хранения своими руками. Страшно? Но ведь Вы же использовали Novell NetWare, а потом и Windows Server в качестве своего файлового сервера? Да, теперь и системы хранения с открытым исходным кодом умеют копировать- при- записи (CoW), дедуплицировать данные, моментально выполнять репликации и разделять золотой виртуальный диск между тысячами пользователей. Маленькая "площадь для атак" злоумышленников в системах типа VxWorks? Наносервер Windows server 2016 готов поспорить крошечностью своих размеров! Но мы забегаем вперёд. Чтобы научиться плавать надо зайти в воду. И вы поплывёте. Не сразу и не баттерфляем. Но уж Пространства хранения Microsoft вам точно построит. А может вы и утонете без инструктора по плаванию рядом. В общем, если вы хотите строить свои облачные решения на проприетарном железе мы не будем возражать! И готовы подобрать Вам самое лучшее. Тем более, что системы хранения нижнего уровня сегодня уже научились выполнять большую часть функционала, который совсем недавно умело делать только самое дорогостоящее оборудование.

Сетевая среда является "кровеносной системой" всякого центра обработки данных, в том числе и программно- управляемого. Как правило, она распадается на ряд независимых сетей, которые имеет смысл разделять. По целому ряду причин: безопасность, гарантирование пропускной способности, различные требования к функционированию и тому подобным. По своей архитектуре они тоже могут различаться. Наиболее распространёнными в настоящее время являются: EthernetInfiniBand, OmniPath, FibreChannel, а также целый ряд проприетарных разработок, из которых, в качестве примера, мы остановимся на самой интересной для отечественного потребителя - Ангаре. Более подробно каждую из этих сред мы рассмотрим далее по тексту, пока же перечислим ряд наиболее распространённых сетевых сред, напрашивающихся на обособление:

 

Ethernet

Как следует из приведённого выше перечисления различных применяемых в Центрах обработки данных сетевых средах, наиболее универсальной и, к тому же, позволяющей построить практически любые решения при относительно невысокой стоимости, является архитектура Ethernet. В настоящее время она представлена сетевыми адаптерами с пропускной способностью 1GbE, 10GbE, 40GbE, 100GbE, а также недавно добавленными 25GbE (и, вербально, 50GbE) и 2.5GbE. Появление значения 25 объясняется его кратностью 100GbE, а вот происхождение 2.5 относится к сфере построения WiFi решений, для которых 1GbE мало, а 10GbE дорого. Также фактически готовы к запуску ASIC с 200GbE, единственным что сдерживает их появление - не очень широкое распространение PCIe v4 (пока только Power9, ждём новых процессоров Intel ближе к концу 2017). Отметим, что начиная с 10GbE рекомендуется использовать разъёмы QSFP вместо RJ-45. Основным набором сетевых протоколов здесь является TCP/IP. Как правило, в подключаемом в такую сетевую среду хосте имеется более одного сетевого адаптера Ethernet, и самым важным первым шагом является их правильная настройка.

В начале рекомендуется включить в Firmware вашего хоста поддержку Согласованного именования сетевых устройств (Consistent Network Device Naming). Она позволит устранять неоднозначности в именовании имеющихся у вас нескольких физических сетевых адаптеров. Вот её основные моменты:

 

Групповой сервер

Для дальнейшего обсуждения построения типового решения сделаем некое допущение об ограничении на маршрутизацию. А именно, предположим, что присутствующая в рассматриваемом решении внешняя сеть имеет только одно соединение со Всемирным Интернетом. Или, то же самое относительно совокупности всех имеющихся сетей, требующих построения неограниченного числа маршрутов сетевого уровня - Level 3. Другими словами, мы выносим за скобки рассмотрения нашими сетевыми окружениями всех задач построения маршрутов к заранее не определённым нами адресатам. Например, при наличии двух поставщиков Интернет услуг, мы считаем для себя внешней задачу построения альтернативных маршрутов. Тем самым, мы можем не рассматривать решения Policy-based routing (PBR, например, см. habrahabr или Cisco PBR). Данное допущение позволяет нам достаточно просто решать задачу построения сетевой среды в хостах со множеством сетевых адаптеров (multi- homing, групповых серверах).

Следуя "Книге рецептов Windows Server 2016" Джордана Краузе его же "Полного руководства Windows Server 2016", отметим ключевой момент (применимый к любой операционной системе, Linux, FreeBSD, MacOS, Windows), а именно: наличие в данном хосте только одного шлюза по умолчанию (Default gateway). Во всех сетевых адаптерах с данной сетевой архитектурой только один сетевой адаптер имеет назначенным шлюз по умолчанию. Шлюз по умолчанию является тем местом, в котором наш хост пытается получить маршрут к адресату в том случае, когда испробовал все имеющиеся в его локальной таблице маршрутизации возможности. Это самое последнее средство, и оно обязано быть единственным. По определению: Иначе какое же оно последнее? Все остальные сетевые адаптеры должны иметь не заполненным (пустым) данное поле в своих свойствах. Это позволяет нам избегать построения PBR или чего- то аналогичного.

Далее. Если в оставшихся подключённых к прочим сетевым адаптерам сетям имеются некие подсети, необходимо вручную прописать соответствующие статические правила маршрутизации. Например, в соответствии с руководствами Джордана Краузе для Windows Server 2016 в его "Книге рецептов" или "Полном руководстве", либо в руководстве "Администрирование Linux систем для профессионалов.

Существенным является статичность прописанных IP адресов, она достигается либо прямым определением статических адресов для имеющихся сетевых интерфейсов, либо привязкой IP адресов в соответствующем DHCP сервере к MAC адресам этих физических адаптеров. В последнем случае также может помочь настройка DHCP Guard (Защитника DHCP), позволяющего блокировать нежелательную раздачу IP адресов с имеющихся в аппаратных маршрутизаторах серверов DHCP.

Для повышения производительности также рекомендуется ограничивать число DNS серверов в свойствах настраиваемых сетевых адаптеров и назначение приоритетов им.

 

Групповой сетевой адаптер

Помимо описанной в предыдущем разделе настройки группового сервера, которая не означает ничего иного, кроме как одновременной работы в одном сервере различных сетевых адаптеров, причём каждого со своей собственной сетью, надлежит рассмотреть ещё одну возможность группирования. А именно, создание группового сетевого адаптера. Помимо группирования (teaming), данная процедура имеет названия связывания (bonding), балансировки нагрузки и устойчивости к отказам (LBFO, Load Balance and Failover), а также объединения в транки (trunk). Как это и следует из перечисленных названий, данная процедура служит целям высокой доступности и повышения отказоустойчивости, а также осуществлению балансировки нагрузки.

Вначале бросим взгляд на историю вопроса. Первоначально группирование сетевых адаптеров осуществлялось в хосте на уровне драйвера. Такой подход не предоставлял достаточной гибкости для настройки, поэтому, как правило, данная функциональность переносится на более высокий уровень внутри операционной системы. Например, в Windows Server 2012 (R2) создаётся дополнительная сущность - групповой NIC, который экранирует лежащие в его основе сетевые адаптеры. В настоящее время более распространённым является подход, при котором группирование физических устройств осуществляется на уровне виртуального коммутатора (моста) операционной системы хоста. Такой подход позволяет осуществлять более гибкую настройку всей необходимой встроенной функциональности сетевых адаптеров и реализовывать конвергентные среды коммутации.

Группирование сетевых адаптеров может получать поддержку со стороны имеющихся физических коммутаторов. Например, посредством LACP (Link Aggregation Control Protocol, Управляющего протокола агрегации связей). Для некоторых вариантов применения это предоставляет определённые преимущества. Таким образом, процедура настройки группирования, как правило, содержит различные режимы для подхода, осведомлённого о поддержке группирования физическими коммутаторами и без неё. Помимо этого, дополнительную степень разнообразия при настройке может создавать метод применения рассматриваемого физического адаптера. Во первых: активный, или находящийся в состоянии ожидания. Последнее предполагает наличие некоторого механизма перевода такого адаптера в активное состояние в случае отказа активного устройства. Однако, такой подход не позволяет эффективно использовать всю имеющуюся полосу пропускания, поэтому более распространены методы с применением балансировки нагрузки по всем имеющимся физическим сетевым адаптерам. Поддерживаемые методы балансировки создают дополнительную свободу выбора. Как правило это карусельный метод, метод хэширования адресов или другие, поддерживаемые данным уровнем операционной системы методы. Интересной особенностью, появившейся в последних версиях операционных систем, является возможность динамического подключения и отключения физических сетевых адаптеров в группу без необходимости перезагрузки самой операционной системы.

При настройке группирования NIC требуется принятие во внимание функциональности SR-IOV (Single Root Input/Output Virtualization, виртуализации ввода-вывода с единым корнем) - технологии, позволяющей осуществлять виртуализацию физических ресурсов (функций) на аппаратном уровне в виде виртуальных функций с предоставлением прямого доступа к данному ресурсу.

Несмотря на то, что современные операционные системы имеют возможность реализации группирования сетевых адаптеров различных производителей (и даже с различными пропускными способностями), вряд ли стоит всерьёз рассматривать такую возможность за исключением случаев крайней необходимости, например предоставления соответствующего уровня отказоустойчивости. Гораздо проще предусмотреть данную потребность на уровне проектирования и установить необходимое оборудование с идентичными характеристиками. Это позволит реализовать максимальную эффективность использования всех имеющихся аппаратных средств с минимальными издержками.

 

Разгрузка ЦПУ

 

InfiniBand

 

OmniPath

 

Fibre Channel

 

Альтернативы, например, RDMA с Ангарой