Глава 0. Введение

Вы можете применять ZFS где угодно, однако в некоторых случаях она не будет работать лучшим образом.

ZFS может не быть лучшим выбором для определенных систем виртуализации. Мы применяли не одну систему виртуализации Linux на основе KVM, которые задыхались на файловых системах ZFS, и не будем шокированы увидеть, что и другие системы будут иметь подобные проблемы. Функциональность, подобная миграции между хостами и восстановлению из резервных копий на базе образов, может быть проблематичными. Вы захотите провести полное тестирование ZFS с вашей системой виртуализации перед ее применением там. Лукас развернул ZFS на таких системах, обратите внимание, однако он применял альтернативные стратегии резервного копирования и миграции.

ZFS написана для современного оборудования. Она ожидает, что у вас есть, по крайней мере, несколько гигабайт оперативной памяти. Встроенные системы наподобие Raspberry Pi лучше подходят для традиционных файловых систем наподобие UFS2.

Определенные сверхинтенсивные рабочие нагрузки на определенных аппаратных средствах лучше выполняются на UFS2, нежели на ZFS, в особенности, если ваши диски применяют действительные 512-байтовые блоки. Если вы желаете прочистить нос своей базе данных, сопоставьте производительность и на UFS2, и на ZFS.

Не удивительно, что документация Sun говорит, что вам необходима оперативная память с контролем четности (ECC RAM) для надлежащего применения ZFS. Sun продает сервера профессионального уровня. Однако, согласно Мэтту Аренсу, "ZFS в системах без ECC ничуть не опаснее, чем любая другая файловая система без ECC". Встроенная в ZFS коррекция ошибок компенсирует большинство ошибок, производимых не оперативной памятью.

Общая аргументация в пользу ECC RAM, конечно, остается в силе. Машина с не-ECC памятью может испытывать повреждения памяти, и некоторые из этих ошибок, вполне возможно, доберутся до диска. Тем не менее, это будет происходить независимо от используемой вами файловой системы, а контрольные суммы ZFS дают надежду обнаружения подобной проблемы. Если вы выполняете службу высокой доступности, вы хотите ECC для всего оборудования по обычным причинам. Но ваш ноутбук или сервер ZFS для домашних фильмов будет работать нормально с обычной оперативной памятью.

Не используйте аппаратный контроллер RAID. Никогда. Выполнение ZFS поверх аппаратного RAID устройства создает конфигурации со всеми недостатками RAID и со всеми недостатками ZFS. Применяйте адаптеры шины хоста (HBA, host bus adapter) без RAID для вашего контроллера дисков.

Все RAID являются программными. Ваш аппаратный контроллер RAID использует настраиваемую операционную систему для выполнения задач RAID и при этом затеняет оборудование от операционной системы. Это еще имело смысл в первые дни широкого применения коммерческих вычислений, когда потребитель операционных систем не доверял управляемым системам хранения. Проведите три секунды наблюдения за работой программного обеспечения RAID на уровне операционной системы под Windows 3.1, и вы поймете, почему аппаратный RAID стал настолько повсеместным.

Наши операционные системы стали лучше. Наше оборудование стало в миллиарды раз мощнее. Среда изменилась.

ZFS предназначена для прямого доступа к оборудованию. Она намеренно сохраняет критические метаданные на нескольких дисках. Она наблюдает за этими дисками на предмет наличия ошибок, и принимает решения на основе этих ошибок. Аппаратное RAID-устройство скрывает все это тревожные подробности от операционной системы, исключая возможность ZFS к самовосстановлению. Аппаратный RAID не представляет конкурентных возможностей.

Реконструкция массива ZFS намного быстрее реконструкции массива RAID благодаря интеграции избыточности ZFS с файловой системой. Если вы управляете избыточностью при помощи аппаратного RAID, вы теряете эту скорость.

Многие контроллеры RAID, однако, не позволяют использовать диски без некоего вида RAID. Даже если вы настраиваете ваш контроллер на работу c "простой пачкой дисков" (JBOD, just a bunch of disks), такой контроллер на практике форматирует каждый диск как отдельный диск RAID-0. Это маскирует определенную информацию от операционной системы, например, размер блока и большое число ошибок диска. Что еще хуже, используемые с таким контроллером диски читаются только контроллерами этого производителя - а иногда только с этой моделью контроллера! Применение такого RAID контроллера для ZFS означает, что вы не сможете перемещать такие жесткие диски на другую машину без их переформатирования, пока не появится новая коробка, имеющая в точности такую же плату RAID. Это устраняет всякую переносимость пулов ZFS.

Некоторые аппаратные платы RAID допускают перезапись встроенного программного обеспечения, переделывающего их в контроллер JBOD. Плохая флеш-память может превратить вашу RAID плату в кирпич. Если больше никто не будет опять использовать RAID, мы можем рискнуть.

Если вы вынесли приговор использовать аппаратный RAID, возможно, вы были очень плохим человеком в предыдущей жизни, представьте себе операционную систему с отдельными дисками. Если контроллер RAID настаивает на форматировании каждого диска в качестве RAID-0, вы застряли. Отключите режим "ответа" (write back) в контроллере; в противном случае кэш записи контроллера может повредить вашу файловую систему. Смиритесь с увеличением сложности, снижением производительности и дополнительным риском. Убедитесь, что вы задокументировали все это по электронной почте системе управления, поэтому, когда произойдет неизбежный отказ, вы получите крошечное удовольствие, говоря: "А я предупреждал" чтобы компенсировать головную боль от восстановления из резервной копии.

Адаптеры шины хоста (HBA) намного дешевле чем RAID контроллеры - не только в денежном выражении, но и во временном. Используйте их.

Устройства хранения данных поставляются с {интерфейсами} различного типа. ZFS может использовать SAS диски, SATA диски, сменные вращающиеся диски, SSD устройства или любые поддерживаемые операционной системой носители информации.

Это не означает, что диски являются эквивалентными. Диски SAS, как правило, могут выдерживать гораздо дольше ту же нагрузку чем SATA диски. Флэш-диски являются гораздо более быстрыми, чем любой вид шпиндельных дисков. ZFS может хранить данные на любом из этих устройств. Основывайте свой выбор дискового оборудования на потребностях вашей организации, а не на ZFS.

ZFS может осуществлять специальное применение сверх- быстрых хранилищ для кэширования чтения и записи. Если у вас есть возможность добавить пару твердотельных дисков в ваш массив хранения на базе SAS или до SATA, вы можете значительно ускорить производительность ZFS.

Одновременная утрата нескольких дисков в массив хранения не редкость. Перепад напряжения может повредить сразу несколько дисков. Интенсивное восстановление массива создает дополнительную нагрузку на оставшиеся диски. С одной из сторон шкафа может накапливаться тепло. ZFS поддерживает множество сценариев резервирования именно для подобных случаев.

Если вы приобретаете большую партию одинаковых дисков, они могут бы произведены в один и тот же день или в той же серии. Неудачный день на заводе может сильно ужалить вас. К сожалению, розничные продавцы дисков не могут отгружать вам диски, сделанные в разные дни или из разных партий {Прим. пер.: с этим можно оспорить - за Ваши деньги- любой каприз!}. Лучшее, что вы можете сделать, это иметь в каждом массиве произведенные различными производителями диски. {Прим. пер.: а вот с этим утверждением совсем никак нельзя согласиться! Диски различных производителей отличаются по производительности, емкости, временам доступа и задержек, размерам кэшей и т.п. Во-первых: вы теряете преимущества самых производительных устройств (1й закон Амдала в трактовке В.В.Воеводина: "Производительность вычислительной системы, состоящей из связанных между собой устройств, в общем случае определяется самым непроизводительным своим устройством", В.В.Воеводин. Вычислительная математика и структура алгоритмов. М.: Изд-во МГУ, 2006.-112с. ISBN 5-211-05310-9), во- вторых вы осложняете себе сопровождение. Можно продолжить список, но и этого вполне достаточно.}

FreeBSD поддерживает хранение с множеством путей, делая возможным преодоление многих проблем аппаратных средств. Изменение компоновки вашего оборудования может повысить доступность и надежность системы. Если у вас есть два внешних дисковых массива, то допустимо использование дисков из каждого массива в зеркальной паре. Таким образом, если дисковый электропитание одного массива отключается, каждое зеркало все еще имеет один активный диск. Когда восстанавливается отказавший массив, зеркало автоматически восстановится. Поскольку это является специализированным оборудованием, мы обсудим решения с множественностью путей (multipath) в в книге Мастерство FreeBSD: Расширенный ZFS.

Осмотрите на ваше оборудования перед установкой. Рассмотрим возможности отказов и как соответствующее размещение ваших комплектующих может предотвратить простои.

Нет, не используйте машинку для ярлычков и расклейки небольших наклеек на все жесткие диски. Клей на подобные вещи никогда не прилипает (хотя вы должны физически помечать свои диски). FreeBSD поддерживает меток GUID таблицы разделов (GPT, GUID Partition Tables: GUID = Globally Unique ID, глобально уникальный идентификатор), позволяя размещать произвольные логические маркеры на любоом жестком диске или разделе. Если устройство хранения испытывает проблемы, FreeBSD объявляет об этой проблеме и идентифицирует проблемный блока по имени устройства или узла устройства. Хотя это прекрасно, знать что диск /dev/da239 испытывает проблему, но вам необходимо отследить обратный путь к физическому устройству. Многие пользователи ZFS имеют машины с большим количеством жестких дисков, что усугубляет проблему.

Инструменты FreeBSD позволяют получить порядковый номер отказавшего диска. Однако, в зависимости от вашего оборудования, вам, возможно, придется физически исследовать каждый диск для определения его серийный номер. Это обычно включает в себя либо вскрытие корпуса, либо вынимание отдельных дисков из дискового массива. Это утомительно, неприятно, и чаще прерывает обслуживание.

Если вы выполняете подготовку во время установки, вы можете установить точку отсчета прямо на неисправном диске - даже если диск находится на удаленном объекте. Джуд работает с очень большим количеством плотных массивов хранения, расположенных по всему миру, и использует эту схему, чтобы удерживаться от перенасыщенностью обслуживания жестких диска.

Предложите схему именования и нумерация ваших массивов хранения данных. Многие массивы хранения данных имеют стандартную схему именования, часто печатаемую на оборудовании. Если ваше оборудование уже имеет перенумерованные корпуса, то используется эта нумерация. В противном случае, предлагаются простые правила, наподобие "полка 0 всегда сверху, а диск 0 всегда слева". Вы можете использовать префикс "f" для фронтальной части и "b" для тыловой, или что-то еще понятное вам.

Обратите внимание на серийный номер каждого уже установленного в вашем массиве диска. Фактически маркируйте каждый лоток диска после его установки физическим расположением и серийным номером. Да, это утомительно, но вам в конечном счете нужна эта информация. Вы можете выполнить эту работу в тишине и покое в заданном вами темпе, или вы можете безрассудно ухватиться в нее во время искусственно затянутого и необоснованного стрессового отключения.

Теперь либо установите FreeBSD или загрузите live media {загружаемый носитель, не требующий установки на диск}. Используйте camcontrol devlist для получения списка всех ваших устройств хранения, а затем запустите diskinfo -v на каждом узле устройства хранения для получения его серийного номера. (Вы также можете извлечь серийные номера посредством camcontrol(8).) Это сообщит вам что, скажем, диск /dev/da0 на самом деле диск 3 в полке 4.

Теперь у вас есть список узлов устройств и связанные с ними серийные номера, а также список физического местоположения и ​​серийных номеров. Приведите их в соответствие друг с другом, а затем воспользуйтесь метками GPT для закрепления местоположения и серийного номера используемого вами раздела диска. (Ознакомьтесь с документацией по FreeBSD или с книгой Мастерство FreeBSD: необходимые составляющие систем хранения для получения подробной информации о метках GPT). GPT метки имеют максимальную длину 15 символов, так что вам, возможно, придется обрезать длинные серийные номера. В большинстве серийных номеров последние цифры более уникальны, так что обрезайте начало.

В сочетании диск 9 в полке 2 с серийным номером WD-WCAW36477223 можно получить метку наподобие /dev/gpt/s2d9-AW36477223.

Вы хотите чтобы ваша система использовала эти метки, и только их. Отключите GPTID и идентификационные метки дисков в системе. Это позволит избежать путаницу в последствии.

При подобной установке при возникновении аппаратного сбоя FreeBSD теперь сможет вам сообщить, что третий диск на полке 4, серийный номер такой-то и такой-то, плохой. Обладая данной информацией, даже самый младший технический специалист у вашего поставщика услуг размещения (colocation provider) должен быть в состоянии вынуть правильный диск. (Вероятно, он его испортит, потому что именно это делают младшие специалисты. Но дайте бедному парню выстрелить.) Попросите технических специалистов выдать вам серийные номера заменяемых дисков перед их установкой, таким образом вы можете создать правильные метки.

Упреждающее планирование делает простои гораздо менее травмирующими. Мы настоятельно рекомендуем выполнять его.