Основная цель данной книги состоит в оказании вам помощи для написания более эффективных приложений в экосистеме Python. Под более эффективным я подразумеваю, что ваш код будет пользоваться меньшим числом тактов ЦПУ, меньшим объёмом для хранения и и меньшим сетевым взаимодействием.

Книга применяет целостный подход к задаче производительности. Мы не только обсуждаем методы оптимизации кода на чистом Python, но также рассматриваем действенное использование широко распространённых библиотек по работе с данными, таких как NumPy и pandas. Поскольку в некоторых ситуациях Python недостаточно эффективен, мы также рассматриваем Cython, когда нам требуется бо́льшая скорость. В соответствии со своим целостным подходом, мы также обсуждаем влияние аппаратных средств на проектирование кода: мы анализируем влияние современных вычислительных архитектур на производительность алгоритмов. Также мы изучаем воздействие сетевых архитектур на эффективность и изучаем применение вычислений графического процессора для быстрого анализа данных.

{Прим. пер.: Следует обратить внимание на не совсем традиционное применение автором терминов concurrency и parallelism. Под concurrency в данной книге понимается параллельность, не обязательно одновременная, а parallelism подразумевает именно одновременность.}

Данная книга предназначена для аудитории от средней до продвинутой компетентности. Если вы просмотрите оглавление, вы должны узнать большинство приводимых методик и, скорее всего, вы применяли многие из них. За исключением посвящённых библиотекам ввода/ вывода и вычислениям в графических процессорах разделов, здесь представлено мало сведений вводного характера: вам требуется понимать эти основы. Если вы в настоящее время пишите код с расчётом на его производительность и сталкиваетесь с реальными трудностями при действенной обработке столь большого объёма данных, тогда эта книга для вас.

Для извлечения максимальной пользы от данной книги вам требуется обладать, как минимум, парой лет работы с Python и быть знакомым с управляющим структурами Python, а также понимать что такое списки, наборы и словари. Также вам потребуется опыт работы с некоторыми стандартными библиотеками Python, такими как os, sys, pickle и multiprocessing. Чтобы максимально действенно пользоваться представляемыми мной здесь методами, вы также должны иметь некий уровень знакомства со стандартными библиотеками анализа данных, такими как NumPy - по крайней мере, минимальное знакомство с массивами - и pandas - при некотором опыте работы с кадрами данных.

Оказалось бы полезным, даже если вы напрямую не контактировали с ними, если бы вы были знакомы с путями ускорения кода Python через взаимодействие с внешними языками программирования для C или Rust или бы вам было известно об альтернативных подходах, таких как Cython или Numba. Вам также поможет опыт работы с вводом/ выводом в Python. Учитывая то, что библиотеки ввода/ вывода менее рассмотрены в имеющейся литературе, мы начнём с самого начала таких форматов как Apache Parquet и таких библиотек, как Zarr.

Вам надлежит знать основные команды оболочки терминалов Linux (или терминалов MacOS). Если вы работаете в Windows, установите либо оболочку на основе Unix, либо разберитесь с командной строкой или PowerShell. И, конечно же, на вашем компьютере должно быть установлено программное обеспечение Python.

В некоторых ситуациях я буду давать советы по облачным решениям, однако доступ к облачным решениям или знания о них не является обязательными для прочтения данной книги. Если вас интересуют облачные подходы, вам должно быть известно как осуществлять основные операции, такие как создание экземпляров и доступ к хранилищу вашего поставщика облачного решения.

Хотя вам и не требуется обладать академической подготовкой в данной области, вам будет полезно иметь базовое представление об издержках сложности - к примеру, интуитивное представление о том, что масштабируемые линейно с данными алгоритмы лучше чем алгоритмы, стоимость которых растёт экспоненциально. Если вы планируете применять оптимизацию графическим процессором, на данном этапе мы ничего от вас не ожидаем.

Все главы данной книги по большей части независимы и вы можете перепрыгивать на ту главу, которая важна для вас. При этом данная книга разделена на четыре части.

Данная книга содержит большое число примеров исходного кода как в листингах с пронумерованными строками так и в обычном тексте. В обоих случаях исходный код отформатирован отформатирован подобно данному, шрифтом фиксированной ширины для его отделения от простого текста. Порой код также выделен жирно для подчёркивания кода, который был изменён по сравнению с предыдущими шагами этой главы, например, в случае добавления новых функциональных возможностей в уже имеющиеся строки кода.

Во многих ситуациях первоначальный исходный код был отформатирован; мы добавили разрывы строк и переработали отступы чтобы подладиться под доступное пространство страниц в этой книге. В редких случаях, даже этого оказывалось недостаточно, и листинги содержат пометки продолжения строк (➥). Кроме того, зачастую комментарии удалялись из исходного кода когда сам код описывался в тексте. Примечания к коду сопровождают многие листинги, выделяя важные понятия.

Вы можете получить исполняемые фрагменты кода из liveBook (через Интернет) версии данной книги. Полный код примеров доступен для загрузки с GitHub и с вебсайта Manning. Если будут выявляться ошибки или когда основные разработки Python и имеющихся библиотек потребуют некоторых изменений, я буду обновлять этот репозиторий. Поэтому ожидайте неких изменений в данном репозитории книги. Вы обнаружите в данном репозитории каталог для каждой главы.

Какой бы стиль кода вы ни предпочли, я адаптировал приводимый здесь код с тем, чтобы он хорошо служил в печатной книге. Например, я неравнодушен к длинным и содержательным именам переменных, но они плохо сочетаются с ограничениями книжной формы. Я стараюсь применять выразительные имена и следовать стандартным соглашениям Python, таким как PEP8, но приоритет имеет удобочитаемость книги. То же самое относится и к типам аннотациям: я бы хотел ими пользоваться, но они мешают читабельности кода. В некоторых, очень редких случаях, я для повышения удобочитаемости пользуюсь алгоритмом, даже если он не работает со всеми предельными ситуациями и не добавляет многого к объяснению.

В большинстве случаев код из данной книги будет работать со стандартным интерпретатором Python. В некоторых ограниченных ситуациях потребуется IPython, в особенности, для сопровождения анализа производительности. Также вы можете пользоваться Jupyter Notebook.

Подробности установки можно обнаружить в Дополнении A. Настройка среды. Когда какие- то из глав или разделов требуют особенного программного обеспечения, это будет обозначено в соответствующем месте.

Приобретение Fast Python также включает в себя доступ к liveBook, Интернет платформе Manning для чтения. Пользуясь исключительными функциональными возможностями обсуждения liveBook вы можете присоединять комментарии к общей книге или же к отдельным разделам либо параграфам. Вы можете запросто делать заметки для себя, задавать технические вопросы и отвечать на них, а также получать помощь от автора и прочих пользователей. Для получения доступа к форуму перейдите по ссылке. О форумах Manning и правилах поведения вы можете дополнительно в https://livebook.manning.com/discussion.

Обязательство Manning перед нашими читателями состоит в том, чтобы предоставлять место, где может состояться содержательный диалог между отдельными читателями, а также между читателями и автором. Это не обязательство какой-либо конкретной суммы участия со стороны автора, чей вклад в форум остаётся добровольным (и неоплачиваемым). Мы предлагаем вам попробовать задать автору несколько сложных вопросов, чтобы он не потерял интерес! Форум и архивы предыдущих обсуждений будут доступны на веб-сайте издателя, пока книга находится в печати.

Для работы с кодом данной книги вы можете пользоваться любой операционной системой. Тем не менее, именно Linux в большинстве ситуаций был промышленным кодом, в котором предполагалось развёртывание, поэтому именно она и выступает предпочтительной операционной системой. MacOS X также должен работать без каких бы то ни было добавлений. Когда вы пользуетесь Windows, я бы рекомендовал вам установить Windows Subsystem for Linux (WSL {Прим. пер.: см. наши переводы Linux подсистема Windows (WSL) для профессионалов Хайдена Барнса и Изучаем подсистемы Windows для Linux Прэйтика Сингха}).

Альтернативой всем операционным системам служит Docker. Вы можете воспользоваться предоставляемыми в соответствующем репозитории образами Docker. Docker снабдит вас упакованной в контейнер средой Linux для исполнения необходимого кода.

Я рекомендую вам обладать 16ГБ оперативной памяти и 150 ГБ свободного дискового пространства. Глава 9. Анализ данных при помощи GPU с относящимся к графическим процессорам содержимым, потребует GPU NVIDIA, причём, по крайней мере, основывающейся на архитектуре Pascal; большинство выпускавшихся в последние пять лет графических процессоров должны отвечать этому требованию. Дополнительные подробности относительно подготовки ваших компьютера и программного обеспечения для того чтобы получить максимум от данной книги вы можете найти в Дополнении A. Настройка среды.

Тиаго Родригес Антан обладает степенью бакалавра технических наук в области информатики и степень доктора философии в области биоинформатики. В настоящее время работает в области биотехнологий. Тиаго пользуется Python со всеми его библиотеками для осуществления научных вычислений и задач обработки данных. Чаще всего для оптимизации критически важных частей алгоритмов он также пользуется языками программирования нижнего уровня, такими как C и Rust. В настоящее время он разрабатывает инфраструктуру на основе Amazon AWS, но большую часть своей карьеры он применял локальные вычислительные и научные кластеры.

Дополнительно к работе в данной отрасли, его опыт с академической стороной научных вычислений также содержит два постдока по анализу данных в Кембриджском и Оксфордском университетах. Будучи научным сотрудником университета Монтаны, он с нуля создал всю научную инфраструктуру для анализа биологических данных.

Тиаго является одним из соавторов Biopython, крупного пакета биоинформатики, написанного на Python, и автором книги "Bioinformatics с Python Cookbook" (Packt, 2022), которая вышла в третьем издании. Он также является автором и соавтором многих важных научных статей в области биоинформатики.

Фигура на нашей обложке Fast Python озаглавлена “Bourgeoise de Passeau” или “Bourgeoise of Passeau” и взята из коллекции Жака Грассе де Сен-Совера, опубликованной в 1797 году. Каждая иллюстрация тщательно нарисована и раскрашена вручную.

В те дни было легко определить, где живут люди и какова их профессия или положение в жизни, просто по их одежде. Manning прославляет изобретательность и инициативу компьютерного бизнеса книжными обложками, основанными на богатом разнообразии региональной культуры многовековой давности, оживлёнными фотографиями из таких как это собраний.