Глава 3. Компиляция CPython

Если вы остались довольны своими изменениями и хотите применять их внутри своей системы, тогда вы можете установить исполняемый файл Python из своего репозитория исходного кода в качестве некой индивидуальной версии.

Для macOS и Linux воспользуйтесь командой altinstall, которая не буде устанавливать символическую ссылку для python3 и установит обособленную версию:

$ make altinstall
		

Для Windows вам придётся изменить конфигурацию из Debug to Release,затем скопировать эти упакованные исполняемые файлы в некий каталог в вашем компьютере, который является частью его системного пути.

В качестве разработчика Python вы могли раньше не встречаться с make. Или же у вас и был такой опыт, но вы не тратили на него слишком много времени.

Для C, C++ и прочих языков компиляции полный перечень команд, которые вам требуется выполнять для загрузки, привязки и компиляции вашего кода должным образом может быть очень длинным. При компиляции приложений из исходного кода вам требуется выполнять привязку со всеми внешними библиотеками вашей системе.

Было бы нереальным ожидать от конкретного разработчика, что он знает местоположение всех этих библиотек и скопирует со вставкой их в свою командную строку. Поэтому в проектах C/C++ для автоматизации сценария создания и сборки обычно используются make и configure.

Когда вы выполняете ./configure, autoconf выполняет поиск необходимых CPython библиотек и копирует их пути в некий makefile.

Выработка makefile аналогична некоторому сценарию оболочки и разбивается на разделы, именуемые targets (целями).

Неким примером выступает цель docclean. Эта цель удаляет некоторые файлы документации применяя команду rm:

docclean:
    -rm -rf Doc/build
    -rm -rf Doc/tools/sphinx Doc/tools/pygments Doc/tools/docutils
 	   

Для выполнения этй цели, исполните make docclean. docclean это всего лишь цель, которая выполняет лишь две команды.

Вот соглашение для выполнения цели make:

$ make [options] [target]
		

Если вы вызовите make без определения некой цели, тогда make выполнит установленную первой предписанную в соответствующем makefile цель. Для Cpython это цель all, которая выполняет сборку всех частей CPython.

make обладает большим числом параметров. Вот некоторые, которые вы найдёте полезными на протяжении данной книги:

Таблица 3-1. Некоторые параметры make

Параметр	Применеие
-d, --debug[=FLAGS]	Перекрываемые makefile -ами переменные среды
-e, --environment-overrides	Не позволяет никакого доступа, но возвращает ошибку
-i, --ignore-errors	Игнорировать ошибки из команд
-j [N], --jobs[=N]	Разрешить N заданий за раз или неограниченное число заданий в противном случае
--k, --keep-going	Продолжать выполнение, когда некоторые цели не могут быть выполнены
-l [N], --load-average[=N], --max-load[=N]	Запускать множество заданий только когда load < N
-n, --dry-run	Выводить команды на печать вместо их выполнения
-s, --silent	Не выводить команды эхом
-S, --stop	Останавливаться когда цели не могут быть сделаны

В своём следующем разделе и на протяжении этой книги вы будете выполнять make с такими параметрами:

$ make -j2 -s [target]
		

Установленный флаг -о2 позволяет make выполнять одновременно два задания. Если у вас имеется четыре и более ядре, тогда вы можете изменить его на четыре или более и компиляция завершится быстрее. {Прим. пер.: предлагаем некое эмпирическое правило по настройке данного значения в нашем переводе Программирование ядра Linux Кайваня Н Биллимории, изданной Packt Publishing в марте 2021.}

Установка флага -s прекращает вывод на печать в консоль всех команд из makefile при их выполнении. Если вы желаете увидеть что произойдёт, можете удалить этот флаг -s.

И для Linux, и для macOS вы обнаружите, что вам требуется очищать файлы, сборки или освежать имеющуюся конфигурацию. Приводимые далее разделы содержат таблицы, структурирующих некоторое число полезных целей make, собираемых в makefile CPython.

Следом идцт цели, применяемые для сборки исполняемого файла CPython:

Таблица 3-2. Цели сборки исполняемого файла CPython

Цель	Назначение
all (по умолчанию)	Собирает компилятор, библиотеки и модули
clinic	Запускает параметр Clinic во всех исходных файлах
profile-opt	Компилирует исполняемый файл Python с руководимой профилем оптимизацией
regen-all	Повторно вырабатывает все генерируемые файлы
sharedmods	Собирает совместно используемые модули

Приводимые ниже цели используются для тестирования компилируемого вами исполняемого файла:

Таблица 3-3. Цели тестирования исполняемого файла CPython

Цель	Назначение
coverage	Скомпилировать и запустить тестирование при помощи gcov
coverage-lcov	Создать HTML отчёты зоны действия
quicktest	Запускает более быстрый набор регрессионного тестирования, исключая те тесты, которые требуют большего времени
test	Запускает базовое регрессионное тестирование
testall	Запускает имеющийся комплект тестов дважды, один раз без файлов .pyc и один раз с ними
testuniversal	Запускает имеющийся комплект тестов для обеих архитектур в универсальной сборке для OS X

Первичными целями очистки выступают clean, clobber и distclean. Цель clean служит общему удалению скомпилированных и кэшированных библиотек и файлов .pyc.

Если вы обнаружите, что clean не справляется со своим заданием, тогда испытайте clobber. Цель clobber удалит ваш makefile, поэтому вам придётся снова выполнить ./configure.

Для полной очистки всей среды вплоть до дистрибутива выполните цель distclean.

Последующий список включает перечисленные нами только что первичные цели, а также некоторые дополнительные цели очистки:

Таблица 3-4. Цели очистки каталога исходного кода

Цель	Назначение
check-clean-src	При сборке из исходного кода проверяет что он чистый
clean	Удаляет файлы .pyc, скомпилированные библиотеки и профили
cleantest	Удаляет каталоги test_python_* ранее отказавших заданий тестирования
clobber	То же что и clean, но также удаляет библиотеки, теги, конфигурации и сборки
distclean	То же что и clobber, но помимо этого также удаляет всё выработанное из исходного кода, например makefile
docclean	Удаляет в Doc/ собранную документацию
profile-removal	Удаляет все профили оптимизации
pycremoval	Удаляет файлы .pyc

Существуют две разновидности целей установки: установленная по умолчанию версия, такая как install и версия alt, такая как altinstall. Если вы желаете установить скомпилированную вами версию в своём компьютере, но не желаете чтобы она стала установкой Python 3 версии по умолчанию, пользуйтесь alt версией соответствующих команд:

Таблица 3-5. Цели установки исполняемого файла CPython

Цель	Назначение
altbininstall	Устанавливает собранный интерпретатор python с дополненным номером версии, например, python3.9
altinstall	Устанавливает совместные библиотеки, исполняемые файлы и документацию с соответствующим суффиксом версии
altmaninstall	Устанавливает пронумерованные версией руководства
bininstall	Устанавливает все исполняемые файлы, такие как python, idle и 2to3
commoninstall	Устанавливает совместные библиотеки и модули
install	Устанавливает совместные библиотеки, исполняемые файлы и документацию (исполнит commoninstall, bininstall и maninstall)
libinstall	Установит совместные библиотеки
maninstall	Установит все руководства
sharedinstall	Динамически загружает модули

После того как вы выполните установку при помощи make install, с вашей скомпилированной библиотекой будет связана соответствующая команда python3. Однако, если вы воспользовались make altinstall, будет установлен лишь python$(VERSION), а существующая привязка к python3 останется нетронутой.

Ниже приводятся некоторые дополнительные цели make, которые вы можете найти полезными:

Таблица 3-6. Различные дополнительные цели

Цель	Назначение
autoconf	Автоматически повторно вырабатывает configure и pyconfig.h.in
python-config	Вырабатывает сценарий python-config
recheck	Повторно исполняет configure с теми же самыми параметрами, которые применялись в последний раз
smelly	Проверяет что экспортируемые файлы начинаются с Py или _Py (см. PEP 7)
tags	Создаёт файл тегов для vi
TAGS	Создаёт файл тегов для Emacs

В Windows имеются два способа компиляции исполняемых файлов и библиотек CPython:

В приводимых далее разделах мы опишем оба этих варианта.

Для обоих решений, и сценария компиляции из вашей командной строки, и для Visual Studio, вам потребуется установить различные внешние инструменты, библиотеки и заголовки C.

Внутри папки PCbuild имеется файл .bat, который автоматизирует это процесс для вас. Откройте окно своей командной строки внутри PCbuild и выполните PCbuild/get_externals.bat:

> get_externals.bat
Using py -3.7 (found 3.7 with py.exe)
Fetching external libraries...
Fetching bzip2-1.0.6...
Fetching sqlite-3.28.0.0...
Fetching xz-5.2.2...
Fetching zlib-1.2.11...
Fetching external binaries...
Fetching openssl-bin-1.1.1d...
Fetching tcltk-8.6.9.0...
Finished.
		

Теперь вы можете выполнять компиляцию либо из приглашения командной строки, либо из Visual Studio.

Для компиляции из приглашения командной строки вам требуется выбрать архитектуру того ЦПУ, под который вы желаете выполнять компиляцию. Установленной по умолчанию является win32, но имеется шанс, что вы пожелаете исполняемый 64- битный файл (amd64).

Если вы выполняете некую отладку, тогда отладочная сборка будет поставляться с возможностью подключения к вашему исходному коду точек прерывания. Для включения отладочной сборки вы добавляете -c Debug , предписывая необходимость сборочной конфигурации.

По умолчанию, имеющийся build.bat извлечёт все внешние зависимости, однако поскольку мы уже выполнили этот шаг, он выдаст на печать сообщение о пропуске выгрузки:

> build.bat -p x64 -c Debug
		

Эта команда произведёт исполняемый файл Python PCbuild/amd64/python_d.exe. Запустит это исполняемый файл непосредственно из приглашения командной строки:

> amd64\python_d.exe

Python 3.9 (tags/v3.9:9cf67522, Oct 5 2020, 10:00:00)
 [MSC v.1922 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>>
		

Теперь вы пребываете внутри REPL своего откомпилированного исполняемого файла CPython.

Для компиляции выпуска исполняемого кода воспользуйтесь этой командой:

> build.bat -p x64 -c Release
		

Данная команда создаст исполняемый файл PCbuild/amd64/python.exe.

 

Параметры

В build.bat доступны следующие аргументы:

Таблица 3-7. Различные дополнительные цели

Флаг	Назначение	Ожидаемое значение
-p	Архитектура ЦПУ платформы сборки	x64, Win32 (значение по умолчанию), ARM, ARM64
-c	Конфигурация сборки	Release (значение по умолчанию), Debug, PGInstrument или PGUpdate
-t	Цель сборки	Build (значение по умолчанию), Rebuild, Clean, CleanAll

 

Флаги

Вот некоторые необязательные флаги, которые вы можете применять для build.bat:

Таблица 3-8. Различные дополнительные цели

Флаг	Назначение
-v	Verbose mode (Подробный режим): в процессе сборки отображает информационные сообщения
-vv	Very Verbose mode (Очень подробный режим): в процессе сборки отображает подробные информационные сообщения
-q	Quiet mode (Тихий режим): в процессе сборки отображает только предупреждения и сообщения об ошибках
-e	Выгружает и устанавливает внешние зависимости (значение по умолчанию)
-E	Не выгружает и не устанавливает внешние зависимости (значение по умолчанию)
--pgo	Собирает проводимую профилем оптимизацию
--regen	Повторно вырабатывает всю грамматику и все лексемы (применяется при обновлении самого языка)

Для выдачи полного списка выполните build.bat -h.

Внутри папки PCbuild находится файл решения Visual Studio, PCbuild/pcbuild.sln, предназначенный для сборки и исследования исходного кода CPython.

Когда это файл загружен, он попросит у вас повторно ввести цель проекта внутри данного решения для той версии компилятора C/C++, что была установлена вами. Visual Studio также установит цель на установленный вами выпуск Windows SDK.

Убедитесь что установленная версия Windows SDK является самой новой установленной версией и что набор инструментов вашей платформы самый последний. Если вы пропустили это окно, вы можете потом кликнуть правой кнопкой по своему файлу решения в окне Solutions and Projects и выбрать Retarget Solution.

Переместитесь в Build > Configuration Manager и проверьте что ваш ниспадающий перечень Active Solution Configuration установлен в Debug, а Active Solution Platform настроена на x64 для 64- битной архитектуры ЦПУ или на win32 для 32- битной.

Затем, нажав Ctrl + Shift + B или выбрав Build > Build Solution выполните сборку CPython. Если вы столкнётесь с ошибкой об отсутствии Windows SDK, убедитесь что вы правильно настроили целевые установки в своём окне Retarget Solution . Вы долны также видеть папку Windows Kits в своём меню Пуска с Windows Software Development Kit внутри неё.

Собственно этап сборки может занять в самый первый раз десять минут или более. По завершению сборки вы можете увидеть несколько предупредительных сообщений, которые можете игнорировать.

Для запуска отладочной версии CPython нажмите F5 и CPython запустит ваш REPL в режиме отладки:

Вы можете запускать свой собранный выпуск изменив конфигурацию сборки с Debug на Release в верхней полосе меню и посторно запустив Build > Build Solution. Теперь у вас внутри PCbuild/amd64/ имеются обе версии исполняемого файла CPython, и отладочная, и сборка выпуска.

Вы можете настроить Visual Studio способным открывать REPL либо со сборкой выпуска, либо с отладочной, выбрав Tools > Python > Python Environments в своём меню сверху. в Панели Python Environments кликните Add Environment и далее укажите целью исполняемый файл отладки или выпуска. Отладочный исполняемый файл будет завершаться на _d.exe, например, python_d.exe или pythonw_d.exe.

Скорее всего вы пожелаете применять отладочный исполняемый файл, так как он поставляется с поддержкой отладки в Visual Studio и будет полезен по мере чтения вами этой книги.

В окне Add Environment укажите целью файл python_d.exe, так как это интерпретатор внутри PCbuild/amd64, а pythonw_d.exe в качестве оконного интерпретатора:

Запустите сеанс REPL, кликнув по Open Interactive Window в окне Python Environments и вы обнаружите REPL для своей скомпилированной версии Python:

На протяжении данной книги мы будем встречаться с сеансами REPL с примерами команд. В случае если вы желаете входить во все точки прерываний внутри своего кода, я призываю вас применять дла запуска такого REPL отладочный исполняемый файл.

Чтобы проще перемещаться по вашему коду, в представлении Solution кликните по кнопке next за иконкой Home чтобы переключиться на представление Folder:

Все процессы сборки macOS, Linux и Windows обладают флагами для PGO (proрle-guided optimization, проводимой профилем оптимизации). PGO не является чем- то, создаваемым командой Python, а просто некой функциональной возможностью большого числа компиляторов, включая и те, что применяются для CPython.

PGO работает над выполнением некой первоначальной компиляции, затем профилирует своё приложение выполняя последовательность тестов. Эти профили далее анализируются и компилятор принимает решение по внесению изменений в свой исполняемый файл, которые улучшают производительность.

Для CPython этап профилирования запускается python -m test --pgo, что выполняет регрессивное тестирование, определяемое в Lib/test/libregrtest/pgo.py. Эти тесты выбраны намеренно, так как они применяют широко используемые модули и типы C.

Поскольку оптимизация специфична для конкретной платформы и архитектуры, для которых выполнялось определённое профилирование, профили PGO не могут совмещаться среди операционных систем и архитектур ЦПУ. Сами дистрибутивы CPython в Python.org уже прошли через PGO, поэтому если вы выполните эталонное тестирование некого унифицированным образом скомпилированного исполняемого файла, он окажется более медленным чем выгружаемый с Python.org .

Проводимые профилем оптимизации Windows, macOS и Linux содержат такие проверки и улучшения:

В этой главе вы увидели как компилировать исходный код CPython в некий рабочий интерпретатор. Вы будете применять эти знания на протяжении всей книги, по мере того как вы будете исследовать и адаптировать этот исходный код.

Вам придётся повторять эти шаги компиляции десятки и даже сотни раз при работе с CPython. Если вы можете приспособить свою среду разработки под создание закладок повторной компиляции, тогда лучше воспользоваться этим теперь, чтобы сберечь вам много времени.