Глава 5. Конфигурация и входные данные

$ ./python Tools/scripts/smelly.py
		

Прежде чем исполнять любой код Python, имеющийся CPython времени исполнения вначале устанавливает значение конфигурации времени исполнения и разные параметры предоставляемые пользователем.

Как это предопределено PEP 587, значение конфигурации времени исполнения располагается в трёх местах:

Обе структуры данных, PyPreConfig и PyConfig определены в nclude/cpython/initconfig.h.

Конфигурация предварительной инициализации отделена от конфигурации времени выполнения, поскольку её свойства относятся к установленной операционной системе или среде пользователя.

PyPreConfig обладает тремя первичными функциями:

Сам тип PyPreConfig содержит следующие поля, причём все с типом int:

Ниже приводятся относящиеся к PyPreConfig исходные файлы:

Таблица 5-1. Относящиеся к PyPreConfig исходные файлы

Файл	Назначение
Python/initconfig.c	Загружает значения конфигурации из среды своей системы и сливает её со всеми флагами командной строки
Include/cpython/initconfig.h	Определяет структуру данных инициализирующей конфигурации

Второй этап настроек состоит в конфигурации времени выполнения. Структура данных настроек времени выполнения в PyConfig содержит некоторые значения, включая следующие:

Эти данные конфигурации применяются CPython времени выполнения для включения и отключения функциональных возможностей.

Python также поставляется с некоторыми вариантами взаимодействия командной строки. К примеру, CPython обладает режимом с названием verbose mode (подробный режим). Он в первую очередь предназначен разработчикам для отладки CPython.

Вы можете разрешить подробный режим при помощи флага -v и Python будет печатать на экран сообщения при загрузке модулей:

$ ./python -v -c "print('hello world')"

# installing zipimport hook
import zipimport # builtin
# installed zipimport hook
...
		

Вы обнаружите сотни строк или даже больше со всеми вашими импортами пакетов вашей пользовательской площадки и чем- то ещё в вашей системной среде.

Поскольку конфигурация времени выполнения может настраиваться различными способами, настройки конфигурации обладают уровнями следования. Вот порядок следования подробного режима:

Все значения PyConfig следуют теми же самыми последовательностями и порядком следования:

Интерпретаторы CPython обладают неким набором флагов времени выполнения. Эти флаги выступают расширенными функциональными возможностями, применяемыми для переключения специфичного для CPython поведения. Внутри некого сеанса Python вы можете получать доступ к значениям флагов времени выполнения, причём как в подробном, так и в тихом режиме через кортеж с названием sys.flags.

Все флаги -X доступны внутри установленного словаря sys._xoptions:

$ ./python -X dev -q

>>> import sys
>>> sys.flags
sys.flags(debug=0, inspect=0, interactive=0, optimize=0,
 dont_write_bytecode=0, no_user_site=0, no_site=0,
 ignore_environment=0, verbose=0, bytes_warning=0,
 quiet=1, hash_randomization=1, isolated=0,
 dev_mode=True, utf8_mode=0)

>>> sys._xoptions
{'dev': True} 
		

Помимо значений конфигурации времени исполнения в Include/cpython/initconfig.h, также имеются встроенная конфигурация, располагающаяся в pyconfig.h в корне папки. Этот файл динамически создаётся на этапе ./configure в процессе сборки для macS и Linux, или через build.bat в Windows.

Вы можете обнаружить эту встроенную конфигурацию, выполнив следующее:

$ ./python -m sysconfig

Platform: "macosx-10.15-x86_64"
Python version: "3.9"
Current installation scheme: "posix_prefix"

Paths:
    data = "/usr/local"
    include = "/Users/anthonyshaw/CLionProjects/cpython/Include"
    platinclude = "/Users/anthonyshaw/CLionProjects/cpython"
...
		

Встроенные свойства конфигурации являются значениями времени компиляции, применяемыми для выбора дополнительных модулей, для их связывания с создаваемым исполняемым файлом. Например, отладчиков, инструментальных библиотек, а также распределителей памяти, которые все монтируются во время компиляции.

Со всеми этими тремя этапами конфигурации, наш CPython теперь может получать входные данные и перерабатывать получаемый текст в исполняемый код.

Прежде чем код может быть исполнен, он должен быть скомпилирован в некий модуль из получаемых на вход данных. Как уже обсуждалось ранее, входные данные могут различаться по своему типу:

Входные данные считываются, передаются своему синтаксическому анализатору, а затем передаются в сам компилятор:

Благодаря такой гибкости большая часть исходного кода CPython посвящена обработке входных данных в своём синтаксическом анализаторе CPython.

Имеются четыре основных файла, с которыми имеет дело интерфейс командной строки:

Таблица 5-2. Относящиеся к взаимодействию с командной строкой файлы

Файл	Назначение
Lib/runpy.py	Модуль стандартной библиотеки для импорта модулей Python и их исполнения
Modules/main.c	Обёртывающие исполнение внешнего кода, например, из файла, модуля или входного потока функции
Programs/python.c	Точка входа для исполняемого python в Windows, Linux и macOS. Служит только в качестве оболочки для Modules/main.c
Python/pythonrun.c	Обёртывающие внутренние API C функции для обработки входных данных из командой строки

После того как CPythonобладает конфигурацией времени исполнения и необходимыми аргументами командной строки, он может загружать код, который ему надлежит выполнять. Эта задача обрабатывается pymain_main() из Modules/main.c.

CPython теперь выполнит предоставленный код со всеми предписанными параметрами во вновь созданном экземпляре PyConfig.

CPython способен выполнять небольшие приложения Python из командной строки с параметром -c. Например, рассмотрим что произойдёт когда вы выполните print(2 ** 2):

$ ./python -c "print(2 ** 2)"

4
		

Прежде всего, внутри Modules/main.c выполняется pymain_run_command(), беря ту команду, которая передаётся в -c в качестве аргумента в C с типом wchar_t*.

После того как это осуществлено, pymain_run_command() передаёт Python объект байт в PyRun_SimpleStringFlags() для исполнения.

PyRun_SimpleStringFlags() является частью Python/pythonrun.c. Его цель состоит в повороте строки в модуль Python с последующей отправкой её на выполнение.

Модулю Python требуется некая точка входа, __main__, для его обособленного исполнения и PyRun_SimpleStringFlags() создаёт её в неявном виде.

После того как PyRun_SimpleStringFlags() создал модуль и некий словарь, он вызывает PyRun_StringFlags(). PyRun_StringFlags() создаёт поддельное имя файла и затем вызывает синтаксический анализатор Python для создания дерева абстрактного синтаксиса (AST, abstract syntax tree) из этой строки и возвращает некий модуль. В нашей следующей главе вы получите дополнительные сведения относительно AST.

Другой способ выполнения команд Python состоит в применении параметра -m с названием некого модуля. Типичным примером является python -m unittest, который запускает модуль unittest в стандартной библиотеке.

Такая возможность исполнения модулей в качестве сценариев изначально предлагалась в PEP 338. Окончательный стандарт для относительных импортов в явном виде был определён в PEP 366.

Флаг -m подразумевает, что внутри соответствующего пакета модуля вы желаете выполнить что- то внутри соответствующей точки входа (__main__). Это также подразумевает, что вы хотите отыскать sys.path для модуля с этим названием.

Такой механизм поиска в соответствующей импортируемой библиотеке (importlib) это то, почему вам нет нужды помнить где ваш модуль unittest хранится в вашей файловой системе.

CPython импортирует стандартный библиотечный модуль, runpy и выполняет его при помощи и PyObject_Call(). Такой импорт выполняется при помощи API функции Import_ImportModule() C, обнаруживаемой внутри файла Python/import.c.

Этот модуль runpy написан на чистом Python и располагается в Lib/runpy.py.

Выполнение python -m <module> эквивалентно python -m runpy <module>. Модуль runpy был создан для абстрагирования самого процесса от местоположения и выполнения модулей в некой операционной системе.

Модуль runpy для запуска своего целевого модуля выполняет три основных момента:

1. Вызывает _import__() для того модуля, название которого вы предоставили

2. Устанавливает __name__ (название вашего модуля) в пространство имён с названием __main__

3. Выполняет данный модуль внутри соответствующего пространства имён __main__

Модуль runpy также поддерживает исполнение каталогов и файлов ZIP.

  Ввод данных из файла сценария или стандартного ввода

Когда самый первый аргумент для python является названием файла, например, python test.py, тогда CPython откроет некий файловый дескриптор и передаст его обработку в PyRun_SimpleFileExFlags() внутри файла Python/pythonrun.c.

Существует три пути, которые может предпринять эта функция:

1. Когда путь к файлу это файл .pyc, тогда она вызовет run_pyc_file()

2. Если путём к файлу выступает некий файл сценария .py, тогда она запускает Главе 2,

3. Если файловым путём является stdin по той причине, что пользователь запустил <command> | python, тогда он трактует stdin как некий дескриптор файла и запускает PyRun_FileExFlags()

Для stdin и базовых файлов сценариев CPython будет передавать файловый дескриптор в PyRun_FileExFlags(), расположенный в файле Python/pythonrun.c.

Основное назначение PyRun_FileExFlags() аналогично PyRun_SimpleStringFlags(). CPython будет загружать полученный файловый дескриптор в PyParser_ASTFromFileObject().

Идентично PyRun_SimpleStringFlags(), после того как PyRun_FileExFlags() создал некий модуль Python из соответствующего файла, он отправляет этот модуль в run_mod() на исполнение.

  Просмотр флагов времени исполнения

Когда некий пользователь запускает python с каким- то путём к файлу .pyc, тогда вместо загрузки такого файла как обычного текстового файла и его синтаксического анализа, CPython будет предполагать что такой файл .pyc содержит некий кодовый объект, записанный на диск.

В PyRun_SimpleFileExFlags() имеется некое выражение для того чтобы соответствующий пользователь предоставлял некий путь файла для файла .pyc.

run_pyc_file() внутри Python pythonrun.c выстраивает (маршализует) соответствующий кодовый объект из своего файла .pyc применяя некий файловый дескриптор.

Такая структура кодового объекта на диске является тем способом, коим компилятор CPython кэширует скомпилированный код с тем, чтобы не выполнять его синтаксический анализ всякий раз, когда вызывается данный сценарий.

	Замечание
	Marshaling (выстраивание) это термин для копирования необходимого содержимого какого- то файла в оперативную память и преобразование его в специфическую структуру данных.

После того как соответствующий кодовый объект был выстроен в оперативной памяти, он отправляется в run_eval_code_obj(), который вызывает Python/ceval.c для выполнения этого кода.