| Проект документа для рассмотрения June 20, 2014 11:31 am |
|
|
| Илья Крутов |
|---|
| перевод http://www.redbooks.ibm.com/redpieces/abstracts/redp5119.html выполнен mdl.ru |
Исторически сложилось так, что носитель жесткого диска (hdd) был отформатирован с использованием размера сектора в 512 байт. Тем не менее, потребность в хранении больших объемов и лучшей целостности данных привели к изменению в том, как данные на дисковой пластине структурированы и сохранены. Эти изменения привели к созданию и принятия стандарта Расширенного формата (Advanced Format) для жестких дисков, который ввел в отрасль размер сектора в 4КБ.
В то же время, многие развернутые в настоящее время приложения все еще полагаются на операции с 512-байтными секторами и, возможно, даже оптимизируют свои операции ввода/ вывода на выравнивание на границы 512- байтовых секторов.
Данная статья IBM® Redpaper™ делает введение в Расширенный формат, описывает его характеристики и обсуждает вопросы реализации в различных ИТ-окружения для решения потенциальных проблем с совместимостью и производительностью.
Данная статья предназначена для ИТ- специалистов, которые хотят узнать больше о Расширенном формате и планируют использовать Расширенный формат жестких дисков в своих ИТ- окружениях.
Типичный жесткий диск состоит из нескольких пластин, покрытых магнитным материалом для хранения данных. Пластины делятся на дорожки и сектора, причем размер сектора представляет собой минимальное количество данных, которые могут быть переданы к- или с- диску/а за одну операцию ввода / вывода.
Рисунок 1. Структура HDD с 512- байтовым сектором
Хотя стандарт 512- байтового сектора успешно использовался в промышленности в течение многих лет, его размер становится все более ограничивающим фактором при достижении более высоких емкостей диска и лучшей эффективности коррекции ошибок.
При постоянном улучшении поверхностной плотности, сектор размером 512 байт занимает все меньше и меньше места на пластине. Если, например, пластина имеет дефект носителя в секторе, при увеличении поверхностной плотности потенциально большее число бит данных, хранящихся в этом секторе, окажутся поврежденными (см. Рисунок 2). Это требует реализации на жестком диске более надежной и современной коррекции ошибок для обеспечения восстановления после утраты большего количества бит. В то же время современные жесткие диски с наиболее передовыми поверхностными плотностями уже достигают пределов количества бит, которые могут быть исправлены в рамках 512- байтных секторов.
Рисунок 2. Повреждение носителя: Противопоставление меньшей и большей поверхностных плотностей.
Другим моментом, который следует рассмотреть, является секторная зернистость, определяемая как отношение размера сектора к общему объему хранимых данных. Например, мелкая зернистость хороша, когда приложение управляет очень маленькими и дискретными данными. Однако, когда приложение управляет большими объемами данных или управляет данными в больших блоках (как это делают многие современные приложения- они могут управлять гигабайтами данных и они могут вырабатывать запросы к системам хранения на ввод / вывод в пределах от 4KB до 1MB в зависимости от приложения), тогда малая зернистость становится менее эффективной (иногда в значительной степени).
Как результат, переход на сектор более крупного размера в отрасли стал одной из самых фундаментальных потребностей для улучшения коррекции ошибок и эффективности формата. В ответ на эти потребности, отрасль жестких дисков предложила Расширенный формат.
Индустрия систем хранения работает над переходом к жестким дискам с большим сектором с начала 2000-х годов. В 2009 году при скоординированных усилиях в рамках Международной ассоциации оборудования и материалов дисковых устройств (IDEMA, International Disk Drive Equipment and Materials Association), стандарт Расширенного формата (Advaced Format satndard) был оформлен и утвержден в качестве названия нового стандарта 4-KB секторов. Производители жестких дисков взяли обязательство перед этим новым стандартом и согласились перейти на него в качестве долгосрочной стратегии.
Расширенный формат вводит размер сектора в 4096 байт (4KB) и более длинного кода коррекции ошибок (ECC), сохраняя при этом другие управляющие поля (Sync/DAM и Gap), как показано на Рисунке 3.
Рисунок 3. Расширенный формат
С точки зрения хранения данных, восемь существующих секторов теперь могут храниться в одном 4-KB секторе. Это помогает устранить несколько управляющих полей, таких как Sync/DAM и Gap, что улучшает эффективность хранения данных. Кроме того, для улучшения целостности данных при более высоких поверхностных плотностях могут быть использованы более крупные и мощные алгоритмы коррекции ошибок.
Расширенный формат устанавливает гарантированный в будущем путь к более высоким емкостям, лучшей надежности данных, а также более низкой стоимости за гигабайт (GB). В то же время для поддержки жестких дисков с 4-KB секторами должны быть специально разработаны системы и приложения (включающие системные аппаратные средства, встроенные программы, UEFI [прим.перв.: Unified Extensible Firmware Interface], драйверы, операционные системы, промежуточное программное обеспечение и приложения).
Ключевым направлением в индустрии систем хранения на жестких дисках является создание наиболее гладкого, насколько это возможно, перехода к Расширенному формату для достижения долгосрочных выгод с минимальными побочными эффектами.
При использовании традиционных дисков с секторами 512- байт, минимальное адресуемое и передаваемое количество данных к или от носителя за одну операцию ввода / вывода - это 512 байт. Многие системы и приложения были разработаны и оптимизированы для форматов сектора 512-байт и переход к жестким дискам с форматом сектора в 4-KB может вызвать неожиданные проблемы совместимости для существующих аппаратных средств и программного обеспечения. Расширенный формат жестких дисков отвечает на возможную проблему совместимости путем введения двух типов секторов для отделения блоков передачи физического носителя от адресных блоков:
Такое разделение позволяет приложениям, которые запрашивают размеры сектора накопителя, определять формат диска и правильно выравнивать свои операции ввода / вывода на границы сектора. Для приложений, которые ожидают форматы жесткого диска с сектором 512 байт и не запрашивают размер сектора, такое разделение устанавливает путь к эмуляции 512 байт.
Жесткие диски Расширенного формата 4Kn передают данные к и от хоста используя родные 4-КБ блоки. Система должна поддерживать 4Kn жесткие диски на всех уровнях: архитектуры, структуры разделов диска, UEFI, микропрограммное обеспечение, адаптеры, драйверы, операционные системы и программное обеспечение.
Соображение: Если не все компоненты системы поддерживают 4Kn Расширенный формат жестких дисков, рассмотрите возможность использования расширенного формата жестких дисков 512e или традиционного формата жестких дисков с секторами 512- байт. Использование 4Kn жестких дисков в конфигурации с компонентами системы, которые не поддерживают родные (native) 4-КБ обмены данными может привести к неожиданным результатам и не поддерживается.
Для получения дополнительной информации отсылаем вас к разделам "Анализ контроллеров дисков" и "Анализ операционных систем и приложений".
Многие существующие аппаратные и программные компоненты все еще проектируются вокруг 512- байтовых секторов и ожидают, что данные адресуются, отсылаются и получаются с использованием блоков ввода / вывода 512 байт. Расширенный формат жестких дисков 512e сохраняет совместимость с существующими приложениями.
В жестких диска 512e логические блоки 512- байт прозрачно отображаются в 4-КБ физические секторы, причем каждый физический сектор содержит восемь логических блоков. Такой подход показан на Рисунке 4.
Рисунок 4. 512- байтовое отображение логического блока
При использовании жестких дисков с Расширенным форматом, когда приложение выдает 512- байтовую операцию READ, жесткий диск читает весь 4 КБ физический сектор, который содержит данный запрошенный логический блок, а затем передает 512- байтовый блок приложению. После запуска 512- байтовой операции записи, инициируется последовательность чтения- модификация- запись. Она включает три шага:
Из- за такого поведения режима 512e, должны быть учтены определенные соображения эффективности:
Несовпадения (невязки), при которых 4-КБ операции распределены между двумя 4-КБ секторами, могут иметь значительное негативное влияние на производительность, поскольку каждый запрос 4-КБ ввода / вывода заставляет диск оперировать с данными из двух физических секторов. Правильное выравнивание особенно важно для операций записи, при которой каждая операция выполняет два обмена ввода / вывода (чтение и запись). Понятие выравнивания демонстрируется на Рисунке 5
Рисунок 5. Физический сектор и выравнивание блока ввода / вывода
В зависимости от окружения выравненный дисковый ввод / вывод может быть достигнут на уровне разбиения жесткого диска или операционной системы и уровне систем хранения ввода / вывода приложений, или на обоих сразу.
Соображение: Невязка ввода / вывода систем хранения может иметь негативное влияние на производительность системы (иногда в значительной степени). Выравненные по вводу / выводу системы хранения могут помочь в достижении лучшей производительности подсистемы хранения.
Не RAID хост- адаптеры (HBA) передают информацию о размерах секторов дисков напрямую на хост, поэтому маловероятны проблемы совместимости с Расширенным форматом.
Совет: Проконсультируйтесь с замечаниями к релизу для самых последних обновлений микропрограммного обеспечения, доступных для контроллеров IBM ServeRAID для подтверждения поддержки Расширенного формата.
RAID контроллеры визуализируют физическое пространство систем хранения, а также они представляют тома, которые видны хосту физические устройства хранения. RAID контроллеры должны быть способны распознать устройства Расширенного формата, чтобы избежать любые возможные проблемы совместимости. Кроме того, если операционная система или приложение на хосте выполняют оптимизацию производительности ввода / вывода системы хранения путем определения размера сектора и соответствующего выравнивания ввода / вывода на хранилище, RAID контроллер должен быть также в состоянии сообщить хосту физические и логические размеры секторов дисков системы хранения.
Поддержка жестких дисков Расширенного формата для RAID контроллеров обычно выпускается в виде обновления кодов микропрограмм контроллера (firmware).
Из общих соображений не следует смешивать стандартные 512- байтные диски и диски расширенного 4-КБ формата в одном RAID- контроллере, поскольку это может привести к возможным проблемам производительности. Например, если хост предполагает использование операций с 512- байтовыми секторами, у RAID- массива могут возникнуть проблемы из- за невязки ввода / вывода на 4-КБ дисках, как это уже обсуждалось в разделе "Жесткие диски Расширенного формата 512e". Тем не менее, если RAID- контроллер способен сообщить размер сектора 4-КБ для логического диска, состоящего и из 512- байт и из 4-КБ жестких дисков хосту для целей выравнивания, тогда операции ввода / вывода системы хранения хоста будут выравнены и деградация производительности маловероятна.
Операционные системы и приложения должны распознавать Расширенный формат жестких дисков для избежания потенциальных проблем совместимости, связанных с форматом сектора 4-КБ. Известное программное обеспечение Расширенного формата может надлежащим образом выполнять необходимые задачи выравнивания ввода / вывода систем хранения, что обеспечит эффективность операций ввода / вывода систем хранения. Если программное обеспечение не способно обеспечить внутреннее (natively) выравнивание 4-КБ секторов, тогда существует возможность для серьезных проблем с производительностью, которые потенциально можно избежать или их эффект потенциально можно минимизировать, если выполнено правильное конфигурирование для операционной системы и приложений.
Во- первых разделы жестких дисков должны быть выравнены в соответствии с 4-КБ размерами сектора. Логические разделы, которые создаются операционной системой, должны начинаться с 4-КБ границы физического сектора для достижения правильного выравнивания. Многие современные операционные системы распознают Расширенный формат и они автоматически выравнивают свои разделы, чтобы во время инсталляции начинаться на границе физического сектора. Если операционная система не поддерживает автоматическое выравнивание разделов при установке, для выравнивания разделов могут использоваться инструменты разбиения дисков и выравнивания третьих производителей.
Во-вторых, рассмотрим настройку размера кластера для файловой системы 4 КБ. Это поможет обеспечить, чтобы запросы ввода / вывода файловой системы выравнены на границы физических серверов. Кластер с размером сектора менее 4 КБ на жестком диске Расширенного формата может привести к нескольким циклам чтение- модификация- запись с операциями записи в один сектор, которые не только могут привести к снижению производительности, но и привести к потенциальным потерям данных.
Настройки операционной системы или приложения, которые необходимо просмотреть, чтобы помочь устранить проблемы, связанные с выравниванием операций записи включают в себя настройки буферизации при небуферированных записях и конфигурирование буферированных операций записи в 4-КБ блоках для выравнивания, по возможности, с размером 4-КБ физического сектора.
Другой областью, где могут возникнуть проблемы взаимодействия, является мобильность данных, то есть, когда данные перемещаются из одного хранилища в другое, или когда устанавливается программная репликация между двумя или более местами. Если эти хранилища данных имеют различный формат сектора, отличие в размерах сектора может оказаться неожиданным событием для приложения, которое в настоящее время осуществляет миграцию данных из одного места в другое. Для таких конфигураций позаботьтесь об использовании одинаковых форматов жестких дисков для исключения проблем совместимости.
В Таблице 1 приводятся сведения о том поддерживает ли изначально операционная система Расширенный формат жестких дисков (как 4Kn, так и 512e), а также поддержку 4-КБ файловой системы логических блоков и автоматическое выравнивание разделов.
| Таблица 1. Осведомленные и нет о Расширенном формате (AF) серверные операционные системы. | ||||
|---|---|---|---|---|
| Серверная операционная система | 4-KB дисковый обмен | AF 4Kn | AF 512e | Автоматическое выравнивание разделов |
| Microsoft Windows Server 2012 / 2012 R2 | Yes | Yes | Yes | Yes |
| Microsoft Windows Server 2008 / 2008 R2 | Yes | No | Yes | Yes |
| Microsoft Windows Server 2003 / 2003 R2 | Yes | No | No | No |
| Red Hat Enterprise Linux 6 | Yes | Yes | Yes | Yes |
| Red Hat Enterprise Linux 5 | Yes | No | No | Noa |
| SUSE Linux Enterprise Server 11 | Yes | Yes | Yes | Noa |
| SUSE Linux Enterprise Server 10 | Yes | No | No | Noa |
a. Вы можете использовать для создания разделов Linux Partitioning Utility.
Согласно Таблицы 1, Microsoft поддерживает Расширенный формат жестких дисков 512e начиная с Windows Server 2008 с установленными дополнительными обновлениями, а встроенный (native) режим 4Kn поддерживается с Windows Server 2012.
Важно: Microsoft не поддерживает Windows Server 2003 / 2003 R2 с расширенным форматом дисков (как для 4Kn, так и для 512e)
Поддержка жестких дисков Расширенного формата в Linux доступна, начиная с версии ядра Linux 2.6.31 или выше. Также были изменены для поддержки Расширенного формата дисков утилиты разделов дисков такие, как fdisk и parted
Индустрия жестких дисков переходит к расширенному формату жестких дисков. Расширенный формат вводит в жесткие диски размер сектора в 4 КБ и предназначен для достижения более высоких емкостей жестких дисков, более высокой надежности данных и более низкой стоимости в расчете на ГБ.
В то же время, пока многие существующие приложения по прежнему полагаются на размер сектора жесткого диска 512- байт, может существовать некий потенциал для проблем несовместимости, которые могут отрицательно влиять на производительность или даже приводить к потере данных.
Вооружившись информацией о потенциальных ловушках при переходе к Расширенному формату жестких дисков, вы поможете получить помощь для надлежащего планирования ИТ- среды и избежать этих ловушек, что даст уверенность в том, что ИТ- процессы будут гладкими и непрерывными при таком подходе.
Данная статья была подготовлена группой специалистов из разных стран мира, работающих в Центре Международной организации технической поддержки в Ролли (International Technical Support Organization, Raleigh Center)
Илья Крутов является руководителем проектов Центра ITSO в Роли и работает в IBM с 1998 года. Прежде, чем он присоединился к ITSO, Илья работал в IBM в качестве руководителя группы набранного темпа (Run Rate Team Leader), управляющего портфелем, бренд-менеджера, технический специалиста по продажам и сертифицированного инструктора. Илья обладает экспертными знаниями по продуктам и технологиям IBM System х®, BladeCenter® и Flex System, виртуализации и облачным вычислениям, а также сетям центров обработки данных. Он является автором более 170 книг, статей, руководств по продуктам и руководствам по решениям. Он имеет степень бакалавра в области вычислительной техники Московского инженерно-физического института.
Благодарим следующий персонал за их вклад в данный проект:
Tamikia Barrow, Cheryl Gera, Chris Rayns, David Watts, Debbie Willmschen Центр Международной организации технической поддержки в Ролли
Mike-Server Anderson, Luis Giron IBM
Теперь вы тоже можете стать автором публикции!
Представляем возможность привлечь внимане к своим навыкам, вырастить свою карьеру и стать автором публикации - все одновременно! Присоединитесь к членству в проекте ITSO и помогите написать книгу в вашей области знаний, в то же время оттачивая свой опыт использования передовых технологий. Ваши усилия будут способствовать увеличению признания товара на рынке и удовлетворенности клиентов, в то время как вы расширите свою сеть технических контактов и связей. Резиденты работают в течение промежутка от двух до шести недель и вы можете принять участие лично или в качестве удаленного резидента, работая со своего "аэродрома".
Узнайте больше о программе резидентов, просмотрите указатель резидентов зарегистрируйтесь онлайн по адресу:
ibm.com/redbooks/residencies.html
This information was developed for products and services offered in the U.S.A.
IBM may not offer the products, services, or features discussed in this document in other countries. Consult your local IBM representative for information on the products and services currently available in your area. Any reference to an IBM product, program, or service is not intended to state or imply that only that IBM product, program, or service may be used. Any functionally equivalent product, program, or service that does not infringe any IBM intellectual property right may be used instead. However, it is the user's responsibility to evaluate and verify the operation of any non-IBM product, program, or service.
IBM may have patents or pending patent applications covering subject matter described in this document. The furnishing of this document does not grant you any license to these patents. You can send license inquiries, in writing, to: IBM Director of Licensing, IBM Corporation, North Castle Drive, Armonk, NY 10504-1785 U.S.A.The following paragraph does not apply to the United Kingdom or any other country where such provisions are inconsistent with local law:INTERNATIONAL BUSINESS MACHINES CORPORATION PROVIDES THIS PUBLICATION "AS IS" WITHOUT WARRANTY OF ANY KIND, EITHER EXPRESS OR IMPLIED, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF NON-INFRINGEMENT, MERCHANTABILITY OR FITNESS FOR A PARTICULAR PURPOSE. Some states do not allow disclaimer of express or implied warranties in certain transactions, therefore, this statement may not apply to you.
This information could include technical inaccuracies or typographical errors. Changes are periodically made to the information herein; these changes will be incorporated in new editionsof the publication. IBM may make improvements and/or changes in the product(s) and/or the program(s) described in this publication at any time without notice.
Any references in this information to non-IBM websites are provided for convenience only and do not in any manner serve as an endorsement of those websites. The materials at those websites are not part of the materials for this IBM product and use ofthose websites is at your own risk.
IBM may use or distribute any of the information you supply in any way it believes appropriate without incurring any obligation to you.
Any performance data contained herein was determined in a controlled environment. Therefore, the results obtained in other operating environments may vary significantly. Some measurements may have been made on development-level systems and there is no guarantee that these measurements will be the same on generally available systems. Furthermore, some measurements may have been estimated through extrapolation. Actual results may vary. Users of this document should verify the applicable data for their specific environment.
Information concerning non-IBM products was obtained from the suppliers of those products, their published announcements or other publicly available sources. IBM has not tested those products and cannot confirm the accuracy of performance, compatibility or any other claims related to non-IBM products. Questions on the capabilities of non-IBM products should be addressed to the suppliers of those products. This information contains examples ofdata and reports used in daily business operations. To illustrate them as completely as possible, the examples include the names of individuals, companies, brands, and products. All of these names are fictitious and any similarity to the names and addresses used by an actual business enterprise is entirely coincidental.
This information contains sample application programs insource language, which illustrate programming techniques on various operating platforms. You may copy, modify, and distribute these sample programs in any form without payment to IBM, for the purposes of developing, using, marketing or distributing application programs conforming to the application programming interface for the operating platform for which the sample programs are written. These examples have not been thoroughly tested under all conditions. IBM, therefore, cannot guarantee or imply reliability, serviceability, or function of these programs.
© Copyright International Business Machines Corporation 2014. All rights reserved. Note to U.S. Government Users Restricted Rights -- Use, duplication or disclosure restricted by GSA ADP Schedule Contract with IBM Corp.
This document REDP-5119-00 was created or updated on June 20, 2014.
IBM, the IBM logo, and ibm.com are trademarks or registered trademarks of International Business Machines Corporation in the United States, other countries, or both. These and other IBM trademarked terms are marked on their first occurrence in this information with the appropriate symbol (® or ™), indicating US registered or common law trademarks owned by IBM at the time this information was published. Such trademarks may also be registered or common law trademarks in other countries. A current list of IBM trademarks is available on the Web at http://www.ibm.com/legal/copytrade.shtml
The following terms are trademarks of the International Business Machines Corporation in the United States, other countries, or both:
| BladeCenter® | Redbooks® |
Redbooks (logo) ® |
| IBM® | Redpaper™ | System x® |
The following terms are trademarks of other companies:
Linux is a trademark of Linus Torvalds in the United States, other countries, or both.
Microsoft, Windows, and the Windows logo are trademarksof Microsoft Corporation in the United States, other countries, or both.
Other company, product, or service names may be trademarks or service marks of others.
