Глава 1. Приступая к Redis

Redis является очень популярной, основанной на работе в оперативной памяти, базы данных ключ- значение с малым весом. Строго говоря, Redis является неким сервером структуры данных, в соответствии с Matt Stancliff (@mattsta), одним из наиболее важных основателей Redis (https://matt.sh/thinking-in-redis-part-one). Сам автор Redis, Salvatore Sanfilippo (@Antirez) вначале назвал её Redis, что является сокращением от REmote DIctionary Server, поскольку Redis естественным образом реализует различные виды структур данных в оперативной памяти и предоставляет различные API для манипуляции этими структуруми данных. Более важно, что Redis поддерживает обработку высокопроизводительных команд, архитектуры Высокой доступности/ масштабирования, а также свойства постоянства данных пока запущена служба хранения данных.

При разработке систем с высокой согласованностью и низкой латентностью, использование Redis становится всё более и более широко распространённым. В 2017 Redis попала в полный рейтинг первых десяти механизмов DB (https://db-engines.com/en/ranking). До этого она доавольно продолжительное время пребывал в топ- рейтинге хранилищ ключ- значение (https://db-engines.com/en/ranking/key-value+store).

Основное назначение данной главы состоит в руководстве читателем в быстрой установке простого экземпляра Redis и изучения некоторых общих операций, таких как запуск, подключение и останов Сервера Redis. Также затрагиваются вопросы выборки основной информации из Сервера Redis. Более того, существенно получение лучшего понимания основ имеющейся модели событий и протокола взаимодействия Redis перед изучением Redis. Последние два раздела данной главы содержат подробное обсуждение имеющихся модели событий и протокола Redis.

Redis имеет активное сообщество в GitHub. Было выполнено большое число запросов и переработано с годами, а её автор, Antirez, всегда давал своевременный ответ в общем разделе проблем GitHub. Таким образом, получаемые циклы выпуска Redis очень быстрые. Начиная с самых первых версий, 2.6/ 2.8 до 3.0/ 3.2, которые очень широко применялись, а затем к самой последней версии 4.x, каждый из выпусков Redis предлагал некие существенные улучшения и исправления ошибок. Поэтому наилучшей практикой является использование самой последней версии Redis, если это возможно. В данной книге мы принимаем самую последнюю версию Redit 4.0.1 {Прим. пер.: На момент перевода, конец августа 2018, последней является версия 4.0.11.}

Redis является программным обеспечением с открытым исходным кодом, написанном на чистом языке C, поэтому мы можем устанавливать его посредством компиляции. Основные операционные системы также содержат двоичные пакеты Redis в своих репозиториях программного обеспечения, хотя их версия Redis часто ниже имеющейся на рассматриваемую дату.

Вы можете отыскать необходимую ссылку загрузки и основные шаги по установке на https://redis.io/download. Если у вас есть желание построить Redis скомпилировав исходный код в Linux/Unix/macOS, в вашей среде понадобятся и сам компилятор gcc, и C Standard Library libc. Если речь заходит обустановке из репозитория ОС, всё что вам понадобится, это подключение к интернету и правильная настройка репозитория.

{Прим. пер.: для желающих ознакомиться с установкой Redis в контейнерах отсылаем к своему переводу Docker для разработчиков Rails Роба Айзенберга, The Pragmatic Programmers, LLC., февраль 2019.}

Мы продемонстрируем весь процесс установки с компиляцией Redis в Ubuntu 16.04.2 LTS (Xenial Xerus). Шаги по выгрузке и построению таковы:

Наши поздравления! Вы выполнили установку Redis путём компиляции.

В сопоставлении с пройденной установкой компиляцией, применение apt-get в Ubuntu для установки Redis намного проще. Давайте посмотрим:

Когда дело доходит до выбора необходимой версии Redis, держите в уме, что Redis следует установленной стандартной практике ведения версий, которой является главная.вспомогательная.исправление. Некое чётное значение вспомогательного значения версии устанавливается для стабильной версии, в то время как нечётные вспомогательные значения относятся к нестабильным версиям, хотя и существует несколько версий для Redis с нечётными вспомогательными значениями.

Основное отличие между построением Redis путём компиляции и построением через некий репозиторий программного обеспечения сотоит в том, что разработчик может добавлять варианты оптимизации или отладки при компиляции, а также собственные функции гибкости определения процесса локализации установки в процессе инсталляции.

После установки получается ряд исполняемых файлов в каталоге bin. В приводимой ниже таблице отображены их описания и замечания:

Таблица 1-1.

Название файла	Описание	Замечания
redis-server	Сервер Redis
redis-sentinel	Redis Sentinel	Мягкая (soft) ссылка для redis-server
redis-cli	Инструментарий консоли Redis
redis-check-rdb	Инструмент проверки RDB Redis
redis-check-aof	Инструмент проверки AOF (Append Only Files) Redis
redis-benchmark	Инструментарий эталонного тестирования Redis

Для Windows вы можете получить редакцию Windows Redis, которую группа Microsoft Open Technologies применяла для сопровождения в https://github.com/MicrosoftArchive/redis/releases.

Просто выгрузите имеющийся исполняемый файл .msi и кликните по нему дважды для установки, оставив настройки по умолчанию.

Для macOS нет большой разницы в сравнении с приведённой процедурой для Linux. Вы можете установить Redis, запустив в macOS команду brew install redis.

Прежде чем выполнять доступ к Redis, его Сервер Redis должен быть запущен надлежащим образом. Аналогично, при определённых обстоятельствах, вам придётся останавливать свою службу Redis. Данный рецепт покажет вам как запускать и останавливать Сервере Redis.

Вам требуется завершить установку своего Сервера Redis, как это было описано в рецепте Загрузка и установка Redis данной главы.

Необходимые этапы для запуска и останова Сервера Redis таковы:

Применяемый термин экземпляр (instance) в Redis представлен неким процессом redis-server. В одном и том же хосте может запускаться множество экземпляров Redis, пока они применяют различные настройки, например, различные порты связывания, пути постоянных данных, пути журналов и тому подобное.

Запуск и останов экземпляра Redis являются базовыми операциями. Не так много чего можно заметить при запуске Redis, однако для некоторой службы данных останов службы Redis заслуживает большего внимания, так как, выступая в роли службы хранения данных, именно в этом основной важный момент для вас при изучении того как аккуратно останавливать ваш Сервер Redis для сопровождения целостности данных.

Основная причина зачем настоятельно рекомендуется применять команду shutdown для остановки Redis состоит в том, что если вы заботитесь в целостности данных и уже имеете постоянный набор для сохранения Redis ваших данных в оперативной памяти на диск (механизм постоянности Redis будет обсуждаться в Главе 6, Постоянство), выполняя соответствующую команду shutdown не только для завершения определённого процесса, но также предпринимать некую последовательность прочих действий.

Во- первых, сам redis-server остановит всех своих клиентов, а затем будет выполнено одно постоянное действие если было включено Постоянство. После этого он очистит имеющиися файл .pid и файл socket, если они имеются и, наконец, выйти из этого процесса. Адаптируя данную стратегию, Redis предпринимает всё возможное для предотвращения утраты любых данных. И наоборот, если г рубо применяется команда kill для прекращения запущенного процесса redis-server, данные могут теряться, поскольку они не становятся постоянными до того как этот сервер остановлен.

Следует заметить что применение kill или иных инструментов управления процессами для отправки некоторого сигнала SIGTERM (сигнала 15) в запущенный процесс Redis в своей основе эквивалентен рассматриваемой команде shutdown для аккуратного останова запущенного redis-server.

При запуске самой команды redis-server можно добавлять параметры настройки, что достаточно удобно при развёртывании множества экземпляров в некотором отдельном хосте. Мы можем иметь некий отдельный файл настроек, используемый множеством экземпляров в одном и том же хосте. Тем временем, необходимые уникальные параметры настройки каждого экземпляра могут передаваться в командной строке при запуске. Таким образом, мы избавляемся от стоимости сопровождения множества файлов настройки, а экземпляры могут легко различаться через ps или иные системные команды.

Кроме того, вы можете управлять своим экземпляром Redis используя инструменты управления процессами, такими как systemd, supervisord или Monit, которые могут также могут избавлять вас от беспорядка при развёртывании ножества экземпляров некотором отдельном хосте. Всё что нам требуется, это уделять внимание своим упомянутым ранее параметрам настройки запуска и механизмам обработки сигналов выхода.

При разработке и сопровождении Redis redis-cli в каталоге bin является наиболее часто применяемым инструментом. Данный раздел предоставляет его краткое описание с тем,чтобы читатель смог получить лаконичное представление того как подключаться к Redis и применять его с помощью redis-cli.

Вам требуется поднятый и исполняющийся Сервер Redis, согласно нашему описанию в рецепте Запуск и останов Redis этой главы.

Для подключения к Redis при помощи redis-cli применяется следующая последовательность шагов:

По умолчанию redis-cli подключается к некоторому экземпляру Redis запущенному на локальном хосте с портом по умолчанию 6379. Вы также можете определить значение имени хоста/ IP адреса соответствующего Сервера Redis, запуская команду с параметром -h. Просто убедитесь что имеется подключение между вашей стороной redis-cli и стороной самого Сервера Redis и в нём нет проблем.

redis-cli позволяет определять вам порт при помощи параметра -p в случае, когда ваш Сервер Redis не запущен с портом по умолчанию 6379. Этот параметр таже полезен когда вы желаете выполнять подключение с множеством экземпляров Redis с различными портами привязки в одном и том же хосте.

Кроме того, некий экземпляр Redis защищается при помощи пароля, для установки пароля при подключении к Redis моежет применяться соответствующий параметр -a.

Кроме того, если в Redis доступен некий файл socket, вы можете просто подключаться к Серверу Redis с применением параметра -a.

Зачастую имеется некая потребность выполнения проверки какого- то прототипирования прежде чем прицеплять ваше приложение к Redis. Для этого очень полезным инструментом является redis-cli. Он предоставляет некий интерфейс командной строки с тем, чтобы вы могли быстро проверить архитектуру своих данных. Для повседневного сопровождения Сервера Redis redis-cli также предоставляет некое множество команд, в том числе получение соответствующих замеров, манипулирование состояниями системы и установкой настроек производительности.

При помощи команды INFO redis-cli может быть получена наиболее всеобъемлющая и важная информация об экземпляре Redis. В данном разделе мы рассмотрим как применять команду INFO для выборки таких существенных статистических данных.

Вам требуется поднятый и исполняющийся Сервер Redis, согласно нашему описанию в рецепте Запуск и останов Redis этой главы.

Для получения информации о Redis придерживайтесь следующих шагов:

Команда INFO предоставляет вам все текущие измерения Redis и определённый шаблон каждого измерения в виде metric-name: metric-value, с которым в последующем может быть запросто можно выполнить синтаксический разбор.

Приводимая ниже таблица суммирует общие описания каждого раздела, возвращаемого INFO:

Таблица 1-2.

Название раздела	Описание
Server	Основная информация о Сервере Redis
Clients	Состояние и измерения соединений клиента
Memory	Измерения общего потребления памяти
Persistence	Состояния и измерения, относящиеся к постоянным данным
Stats	Общие статистические данные
Replication	Состояние и измерения репликации хозяин- подчинённый
CPU	Потребление ЦПУ
Cluster	Состояние Кластера Redis
Keyspace	Статистические данные, относящиеся к базе данных

Построение некоего приложения мониторинга путём получения информации из периодически выполняемой команды INFO является распространённой практикой.

Redis, знаменитый своей высокой производительностью, для быстрой обработки запросов заставляет большинство отдельных потоков придерживаться модели неблокируемого ввода/ вывода. Следовательно, существенным является понимание общей модели событий Redis. В качестве пробного образца для понимания читающим такой модели, данный рецепт вначале показывает некую демо программу echo server, которая строится на библиотеке асинхронных событий Redis (библиотека ae). Затем мы предоставляем важные сущностные моменты имеющейся модели обработки событий Redis анализируя определённый фрагмент исходного кода Redis.

Данный рецепт содержит множество практических программных приёмов C. Поэтому, если вы недостаточно подкованы в языке C, вы можете пропустить этот рецепт,если пожелаете и вас не должно сильно беспокоить когда вы продолжите чтение.

Данный рецепт затрагивает построение и отладку исходного кода. Поэтому вам вначале требуется завершить рецепт Загрузка и установка Redis из этой главы. Для лучшей иллюстрации необходим некие IDE, который поддерживает язык программирования C. Применяемым нами IDE является CLion в Ubuntu Desktop 16.04.3 LTS. Хотя CLion IDE и не является свободно распространяемым, нам будет достаточно 30- дневного пробного срока.

Вам также следует подготовить соответствующий компилятор C и среду разработки. В Ubuntu мы можем воспользоваться следующей командой для установки относящихся к этому пакетов:

$ sudo get update && apt-get install build-essential
		

После установки вам следует убедиться, что CMake имеет версию 3.5 или выше:

$ cmake --version
cmake version 3.5.1
CMake suite maintained and supported by Kitware (kitware.com/cmake).
		

Для получения представления о Модели событий Redis выполните следующую последовательность:

Как уже упоминалось ранее, Redis получает громадные преимущества от своей модели неблокируемого, мультиплексированного ввода/ вывода при своей основной обработке отдельного потока, хотя имеются определённые обстоятельства, при которых Redis для определённых задач и порождает отдельные потоки или процессы потомков.

Redis содержит в себе простую, но мощную библиотеку асинхронных событий, именуемую ae для обёртывания функций опроса различных операционых систем, таких как epoll, kqueue, select и тому подобных. {Прим. пер.: подробнее, например, в нашем переводе главы API Epoll из руководства Микаэля Керниска "Интерфейс программирования Linux".}

Итак, что такое функциональность опроса в некоторой операционной системе? Для иллюстрации этого давайте воспользуемся примером из реальной жизни. Представим себе,что вы заказали пять блюд в некотором ресторане. Вам придётся получать свои блюда самостоятельно в каком- то окне ожидания, причём вы желаете получать их настолько быстро, насколько это возможно, как только эти блюда будут готовы, так как вы очень голодны. При таком развитии событию у вас имеются три стратегии:

Принимая во внимание те время и усилия, которые они потребуют, очевидно, что третий вариант является наилучшим.

Функциональность опроса (polling) аналогично тому, как это делается в третьем варианте. Для упрощения данного раздела в качестве примера мы рассмотрим только метод epoll API Linux. Вначале вы можете вызвать epoll_create чтобы сообщить своему ядру, что вы желаете применять epoll. Затем вы вызываете epoll_ctl для информирования своего ядра о необходимых файловых дескрипторах (FD) и о том, какой тип события вас интересует, когда произойдёт некое обновление. После этого epoll_wait выполняет вызов ожидания определённого события с тем FD, который вы назначили в epoll_ctl. Само ядро отправит вам некое уведомление при обновлении вашего FD. Единстенный момент, который вам следует осуществить, это создать обработчики для определённых событий.

Весь процесс мультиплексирования целиком выглядит следующим образом:

В целом, имеющаяся в Redis библиотека ae при обработке всех запросов следует приведённой выше процедуре. В своём примере echo-server мы создаём некий цикл событий вызывая вначале aeCreateEventLoop. Затем посредством anetTcpServer строится какой- то сервер TCP для привязки к сетевой среде и организации процесса ожидания. Для настройки некоторого неблокируемого действия в данном FD сокета мы делаем вызов anetNonBlock. После этого мы определяем соответствующий обработчик события acceptProc для данного FD сокета при помощи того цикла событий, который создан в aeCreateEventLoop. Когда соединение TCP установлено, наш сервер переключит своё действие в acceptProc. В acceptProc мы применяем anetTcpAccept для приёма соответствующего запроса на подключение и регистрации событий считывания с данного FD сокета для readProc. Затем readProc получает вызов, в котором мы считываем те данные, которые отправлены в наш сервер и регистрируем соответствующее событие для записи в свой FD сокета. Наш цикл событий затем получает соответствующее событие записи чтобы зажечь необходимый writeProc для отправки полученных данных обратно в сокет клиента.

Redis работает во многом аналогично тому, как это делает echo-server. В функции main server.cв соответствующем методе initServer для инициализации нашего сервера вызываются aeCreateEventLoop, anetTcpServer и anetNonBlock:

Соответствующий обработчик приёма также устанавливается в этом методе initServer, как это показано в следующем снимке экрана:

После того как наш сервер установлен, получает вызов соответствующий метод aeMain:

Для непрерывной обработки возникающих событий в нашем методе aeMain вызывается asProcessEvents:

Ясно, что в данном процессе опроса не порождается ни какой поток или подчинённый процесс и не выполняется никакое взаимодействие. Таким образом, основным ключевым преимуществом данной модели является то, что она выступает яркой моделью контекстного переключения ввода/ вывода, поэтому переключение контекста не является затратным. Для данной модели следует рассматривать ряд ограничений. Наиболее распространённой проблемой, с которой вы можете сталкиваться является проблема задержек. В данной модели опроса Redis не будет обрабатывать никакие иные команды, пока не завершится обрабатываемая. Поэтому, начиная с данного момента держите на уме, что некая неожиданная латентность будет самой первой головной болью для вас при использовании Redis.

Прочие методы опроса, такие как poll, select и тому подобные, не обсуждаются здесь в силу их ограниченной применимости. Если вы работаете с иными нежели Linux платформами, вы можете пройти отладку соответствующего исходного кода с тем, чтобы дополнительно изучить возможности опроса в этой платформе.

Как мы уже обсуждали в нашем предыдущем рецепте, Radis всего навсего некий TCP сервер неблокируемого ввода/ вывода с мулитиплексированием, которые принимает от клиентов запросы и обрабатывает их. Другими словами, несмотря на сложность организации самого Сервера Redis, вы можете общаться с Rdeis поверх подключения TCP на различных языках программирования. Термин протокол применяется для того языка, который применяется между некими сервером и клиентом при сетевом взаимодействии. Что касается Redis, таким протоколом является RESP (REdis Serialization Protocol). В данном рецепте мы рассмотрим как RESP работает в Redis.

Стоит отметить один момент: Даже на первый взгляд слегка самонадеянно для новичков ознакомиться с данным рецептом. Однако мы на самом деле полагаем, что изучение основ RESP, на базовом уровне, не настолько сложно и сулит для вас преимущества в таком понимании в таком понимании различных видов клиентов и посредников (прокси), реализуемых в разнообразных языках программирования, которое больше не будет представлять для вас мистики.

Безусловно, вы можете пропустить данный рецепт и это не должно вызвать вашей обеспокоенности при чтении в последующих главах.

{Прим. пер.: на самом деле, Redis не обязан ограничиваться исключительно протоколом TCP/IP, он прекрасно может быть реализован, например, поверх RDMA, см. например Using RDMA Efficiently for Key-Value Services Anuj Kalia, Michael Kaminsky, David G. Andersen, CMU, 2014; Accelerating Redis with RDMA Over InfiniBand Wenhui Tang, Yutong Lu, Nong Xiao, Fang Liu, Zhiguang Chen, DMBD 2017. или обратитесь к нам относительно применения RDMA over Ангара.}

Вам требуется поднятый и исполняющийся Сервер Redis, согласно нашему описанию в рецепте Запуск и останов Redis этой главы.

Должен быть установлен необходимый инструмент, netcat (nc). В этом рецепте у нас есть команды для nc в Ubuntu 16.04.3 LTS для netcat. Если вы работаете под Windows, вы можете воспользоваться Cygwin для установки netcat.

Для знакомства с протоколом Redis сделайте следующие шаги:

Имеется большая вероятность, что ознакомившись с этими командами , вы испытаете большое смятение. Как мы уже постулировали в разделе предисловии этого рецепта, эти команды являются тем языком, на котором Сервер Redis и клиент общаются друг с другом. Вам будет просто изучить его, так как в RESP имеется всего пять типов.

Давайте рассмотрим все команды.

Вначале мы отправляем в свой Сервер Redis *1\r\n\$4\r\nPING\r\n. Данная команда начинается со звёздочки, которая означает, что она представляет тип массива.

Рассмотрим по очереди:

Следующий тип, о котором мы поговорим, это соответствующий тип целых. Взгляните на :2, что является результатом, возвращаемым командой INCR. Установленное перед самим численным значением двоеточие указывает на то, что это некое целое значение.

Порой ваш сервер может возвращать некий тип сообщения об ошибке, начинающийся с минуса, когда была обработана несуществующая команда, такая как показанная ранее команда got.

Кроме того, из соображений производительности вы можете отправлять при помощи RESP множество команд в отдельном вызове в Сервер Redis.

Суммируя, ваш клиент отправляет в некий Сервер Redis команды как массив кипы строк. Затем сервер отвечает соответствующим образом одним из пяти упомянутых выше типов RESP.