Приложения для работы с Большими данными инициировали множество исследований по разработке систем поддержки исполнения с малой задержкой и анализом данных в реальном времени. Имеющиеся дисковые системы больше не способны обеспечивать современное реагирование по причине высокой задержки доступа к дискам. Низкая производительность в наши дни также становится препятствием для предоставляющих в режиме реального времени организаций (например, торги в реальном масштабе времени, реклама, социальные игры). Торговым организациям, скажем, требуется обнаруживать внезапные изменения рыночных цен и реагировать мгновенно (в течение нескольких миллисекунд), чего невозможно достичь при помощи традиционных дисковых систем обработки и хранения. Для соответствия высоким требованиям к реальному времени анализа массивных объёмов данных и обслуживания запросов на протяжении миллисекунд необходима система баз данных в оперативной памяти, которая постоянно хранит данные в памяти с произвольным доступом (RAM, random access memory - оперативной памяти).

В наши дни наблюдается тенденция к тому, что со временем оперативная память заменит диск, а роль дисков неизбежно должна свестись к архивной. Кроме того, многоядерные процессоры и доступность больших объёмов основной памяти по низкой цене создают новые прорывные моменты, делая возможным создание систем с оперативной памятью (in- memory), в которых основная часть базы данных размещается в памяти.

Точно так же были достигнуты значительные успехи в энергонезависимой памяти (NVM, энергонезависимой памяти), например, SSD и недавний запуск различных NVM, таких как память с фазовым переходом (PCM, phase change memory) {Прим. пер.: подробнее в нашем переводе Высокопроизводительные вычисления Больших данных Дхабалешвар К. Панда, Сяойи Лу и Дипти Шанкар, Copyright © 2022 Massachusetts Institute of Technology}. Число операций ввода/ вывода в секунду у таких устройств намного выше чем у жёстких дисков. Современные высокопроизводительные серверы обладают несколькими разъёмами (сокетами), каждый из которых обладает десятками и сотнями гигабайт динамической памяти (DRAM) и десятками ядер. А всего сервер способен обладать несколькими терабайт динамической памяти и сотнями ядер. Более того, в распределённых системах можно агрегировать память большого числа серверных узлов до такой степени, что такая агрегированная память способна хранить все данные для множества приложений крупного масштаба.

На протяжении последних нескольких десятилетий системы баз данных увеличивали ёмкость в основном за счёт достижений в области аппаратного обеспечения, доступности больших объёмов данных, сбора данных с беспрецедентной скоростью, новых приложений и тому подобного. Имеющийся ландшафт систем управления данными становится всё более фрагментированным в зависимости от областей приложений (например, полагающихся на реляционные данные, графические данные, потоковые данные приложений).

В деловых операциях предсказуемость в реальном масштабе времени и высокая скорость это не возможность, а необходимость. Следовательно, требуется применять любую возможность для повышения производительности, в том числе уменьшать зависимость от жёсткого диска, добавлять больше памяти для размещения большего объёма данных в памяти и даже развёртывать всю систему в памяти (in-memory), в которой все данные способны храниться в памяти.

Большинство поставщиков коммерческих баз данных в последнее время внедрили обработку баз данных в памяти с целью полной поддержки в памяти приложений крупного масштаба. Таким образом, действенное управление данными в памяти выступает потребностью для различных приложений. Тем не менее, управление данными памяти всё ещё пребывает в зачаточном состоянии и, скорее всего, будет развиваться на протяжении последующих нескольких лет.

В данной книге мы сосредоточимся на системах реляционных баз данных в оперативной памяти; за обзором дисковых систем читатели могут обратиться к [65].

CINVESTAV-Guadalajara, Mexico Педро Мехия Альварес

Oracle, Redwood City California, USA Марсело Леон Айяла

CINVESTAV-Guadalajara, Mexico Сусана Ортега Сиснерос

Глава 1. Системы памяти

Глава 2. Управление памятью

Глава 3. Виртуальная память

Глава 4. Базы данных и их система памяти

Глава 5. Базы данных: реальные образцы

Об авторах

Педро Мехия Альварес

Марсело Леон Айяла

Сусана Ортега Сиснерос

Об обложке