"Модифицируй это!" или "Больше магии Python с помощью изменения AST"
0 likes2,379 views
Документ представляет собой подробное руководство по модификации абстрактного синтаксического дерева (AST) в Python, включая лексический и синтаксический анализ, а также компиляцию кода. Он охватывает практические примеры изменения узлов AST и использования встроенного модуля AST для преобразования кода. Также приводятся ссылки на дополнительные ресурсы и спецификации, касающиеся работы компилятора Python.
![Лексический
анализатор
(lexer)
Например, выражение
test = a + b
в результате лексического анализа превращается в
следующий набор токенов:
[‘test’, ‘=’, ‘a’, ‘+’, ‘b’]
7](https://image.slidesharecdn.com/pynskast-151116024645-lva1-app6892/85/Python-AST-7-320.jpg)
![Этапы трансформации
1. Получаем код и AST
<_ast.Module object at 0x10ca53e80>
Module
( body = [ FunctionDef
( name = 'my_function'
, args = arguments( args = [arg('a'), arg('b'), arg('c')] )
, body = [ Return
( value = BinOp
( left = BinOp
( left = Name('a')
, op = Add()
, right = Name('b')
)
, op = Add()
, right = Name('c')
)
)
]
)
]
)
80](https://image.slidesharecdn.com/pynskast-151116024645-lva1-app6892/85/Python-AST-80-320.jpg)
"Модифицируй это!" или "Больше магии Python с помощью изменения AST"
- 1. «Модифицируй это!» или «Больше магии Python с помощью изменения AST» Маршалов Александр (@amper) mail: [email protected] 1
- 2. Часть I Немного теории… * 2
- 3. Часть I Немного теории… * * на самом деле много… 3
- 4. Полный путь программы от исходного кода до исполнения 4
- 7. Лексический анализатор (lexer) Например, выражение test = a + b в результате лексического анализа превращается в следующий набор токенов: [‘test’, ‘=’, ‘a’, ‘+’, ‘b’] 7
- 10. Исходный код Лексический анализатор (lexer) Список токенов Синтаксический анализатор (parser) 10
- 11. Например, для всё того же выражения получаем: Синтаксический анализатор (parser) test = a + b = test b + a 11
- 12. Исходный код Лексический анализатор (lexer) Список токенов Синтаксический анализатор (parser) 12
- 13. Исходный код Лексический анализатор (lexer) Список токенов Синтаксический анализатор (parser) Дерево разбора (Parse Tree / CST) 13
- 14. Исходный код Лексический анализатор (lexer) Список токенов Синтаксический анализатор (parser) Дерево разбора (Parse Tree / CST) Абстрактное синтаксическое дерево (AST) 14
- 15. Исходный код Лексический анализатор (lexer) Список токенов Синтаксический анализатор (parser) Дерево разбора (Parse Tree / CST) Абстрактное синтаксическое дерево (AST) Граф потока управления (CFG) 15
- 16. Исходный код Лексический анализатор (lexer) Список токенов Синтаксический анализатор (parser) Дерево разбора (Parse Tree / CST) Абстрактное синтаксическое дерево (AST) Граф потока управления (CFG) Внутреннее представление (IR) 16
- 17. Исходный код Лексический анализатор (lexer) Список токенов Синтаксический анализатор (parser) Дерево разбора (Parse Tree / CST) Абстрактное синтаксическое дерево (AST) Граф потока управления (CFG) Внутреннее представление (IR) Бинарный код / Байт-код 17
- 18. Исходный код Лексический анализатор (lexer) Список токенов Синтаксический анализатор (parser) Дерево разбора (Parse Tree / CST) Абстрактное синтаксическое дерево (AST) Граф потока управления (CFG) Внутреннее представление (IR) Бинарный код / Байт-код Исполнение 18
- 19. Исходный код Лексический анализатор (lexer) Список токенов Синтаксический анализатор (parser) Дерево разбора (Parse Tree / CST) Абстрактное синтаксическое дерево (AST) Граф потока управления (CFG) Внутреннее представление (IR) Бинарный код / Байт-код Исполнение 19
- 20. Как это выглядит для Python? 20
- 21. Подробно описано в документе: https://docs.python.org/devguide/compiler.html либо в PEP 0339 - «Design of the CPython Compiler» 21
- 23. Исходный код (*.py) Дерево разбора (Parse Tree) 23
- 24. Исходный код (*.py) Дерево разбора (Parse Tree) Абстрактное синтаксическое дерево (AST) 24
- 25. Исходный код (*.py) Дерево разбора (Parse Tree) Абстрактное синтаксическое дерево (AST) Граф потока управления (CFG) 25
- 26. Исходный код (*.py) Дерево разбора (Parse Tree) Абстрактное синтаксическое дерево (AST) Граф потока управления (CFG) Байт-код 26
- 27. Исходный код (*.py) Дерево разбора (Parse Tree) Абстрактное синтаксическое дерево (AST) Граф потока управления (CFG) Байт-код 27
- 28. Python/compile.c Исходный код (*.py) Дерево разбора (Parse Tree) Абстрактное синтаксическое дерево (AST) Граф потока управления (CFG) Байт-код Parser/pgen.c Python/ast.c Python/compile.c 28
- 29. Python/compile.c Python/compile.c Parser/pgen.c Исходный код (*.py) Дерево разбора (Parse Tree) Абстрактное синтаксическое дерево (AST) Граф потока управления (CFG) Байт-код Python/ast.c 29
- 30. Python/compile.c Python/compile.c Parser/pgen.c Исходный код (*.py) Дерево разбора (Parse Tree) Абстрактное синтаксическое дерево (AST) Граф потока управления (CFG) Байт-код Python/ast.c 30
- 31. Дерево разбора (Parse Tree) Абстрактное синтаксическое дерево (AST) VS 31
- 32. Дерево разбора (Parse Tree) Абстрактное синтаксическое дерево (AST) VS 32
- 33. Дерево разбора (Parse Tree) Абстрактное синтаксическое дерево (AST) VS Этап формирования AST (и модуль ast) появился, начиная с версии Python 2.5, до этого компиляция в байт-код происходила на основе Parse Tree. 33
- 35. Часть II Знакомство с AST 35
- 37. Структура языка Python Описана на языке Zephyr ASDL в файле «Parser/Python.asdl». 37
- 38. Структура языка Python Описана на языке Zephyr ASDL в файле «Parser/Python.asdl». Язык ASDL (Abstract Syntax Definition Language) представляет из себя простой формальный язык для описания синтаксической структуры языка программирования. 38
- 39. Структура языка Python Описана на языке Zephyr ASDL в файле «Parser/Python.asdl». Язык ASDL (Abstract Syntax Definition Language) представляет из себя простой формальный язык для описания синтаксической структуры языка программирования. Описание языка ASDL: ftp://ftp.cs.princeton.edu/techreports/1997/554.pdf 39
- 40. Структура языка Python Описана на языке Zephyr ASDL в файле «Parser/Python.asdl». Язык ASDL (Abstract Syntax Definition Language) представляет из себя простой формальный язык для описания синтаксической структуры языка программирования. Описание языка ASDL: ftp://ftp.cs.princeton.edu/techreports/1997/554.pdf Пример Python.asdl: http://svn.python.org/projects/python/tags/r32/Parser/Python.asdl 40
- 41. Модуль ast 41
- 42. Модуль ast - Является стандартным (встроенным) модулем Python 42
- 43. Модуль ast - Является стандартным (встроенным) модулем Python - Состоит из двух частей: 43
- 44. Модуль ast - Является стандартным (встроенным) модулем Python - Состоит из двух частей: - Модуль на языке C (Python/Python-ast.c), который можно импортировать с помощью: import _ast 44
- 45. Модуль ast - Является стандартным (встроенным) модулем Python - Состоит из двух частей: - Модуль на языке C (Python/Python-ast.c), который можно импортировать с помощью: import _ast - Модуль на Python (Lib/ast.py), который можно импортировать с помощью: import ast 45
- 49. Модуль ast - AST - родительский класс для всех видов узлов в абстрактном синтаксическом дереве. 49
- 50. Модуль ast - AST - родительский класс для всех видов узлов в абстрактном синтаксическом дереве. - Add, And, Assert, Assign, …, For, FunctionDef, …, If, IfExp, Import, ImportFrom, In, Index, …, While, With, Yield, YieldFrom 50
- 51. Модуль ast - AST - родительский класс для всех видов узлов в абстрактном синтаксическом дереве. - Add, And, Assert, Assign, …, For, FunctionDef, …, If, IfExp, Import, ImportFrom, In, Index, …, While, With, Yield, YieldFrom - классы, соответствующие конкретным типам узлов в абстрактном синтаксическом дереве. 51
- 52. Модуль ast - AST - родительский класс для всех видов узлов в абстрактном синтаксическом дереве. - Add, And, Assert, Assign, …, For, FunctionDef, …, If, IfExp, Import, ImportFrom, In, Index, …, While, With, Yield, YieldFrom - классы, соответствующие конкретным типам узлов в абстрактном синтаксическом дереве. - NodeVisitor 52
- 53. Модуль ast - AST - родительский класс для всех видов узлов в абстрактном синтаксическом дереве. - Add, And, Assert, Assign, …, For, FunctionDef, …, If, IfExp, Import, ImportFrom, In, Index, …, While, With, Yield, YieldFrom - классы, соответствующие конкретным типам узлов в абстрактном синтаксическом дереве. - NodeVisitor - класс для рекурсивного обхода абстрактного синтаксического дерева. 53
- 54. Модуль ast - AST - родительский класс для всех видов узлов в абстрактном синтаксическом дереве. - Add, And, Assert, Assign, …, For, FunctionDef, …, If, IfExp, Import, ImportFrom, In, Index, …, While, With, Yield, YieldFrom - классы, соответствующие конкретным типам узлов в абстрактном синтаксическом дереве. - NodeVisitor - класс для рекурсивного обхода абстрактного синтаксического дерева. - NodeTransformer 54
- 55. Модуль ast - AST - родительский класс для всех видов узлов в абстрактном синтаксическом дереве. - Add, And, Assert, Assign, …, For, FunctionDef, …, If, IfExp, Import, ImportFrom, In, Index, …, While, With, Yield, YieldFrom - классы, соответствующие конкретным типам узлов в абстрактном синтаксическом дереве. - NodeVisitor - класс для рекурсивного обхода абстрактного синтаксического дерева. - NodeTransformer - класс для рекурсивного изменения абстрактного синтаксического дерева. 55
- 56. Модуль ast - AST - родительский класс для всех видов узлов в абстрактном синтаксическом дереве. - Add, And, Assert, Assign, …, For, FunctionDef, …, If, IfExp, Import, ImportFrom, In, Index, …, While, With, Yield, YieldFrom - классы, соответствующие конкретным типам узлов в абстрактном синтаксическом дереве. - NodeVisitor - класс для рекурсивного обхода абстрактного синтаксического дерева. - NodeTransformer - класс для рекурсивного изменения абстрактного синтаксического дерева. 56
- 57. Модуль ast - а так же набор функций, среди которых нам интересны: 57
- 58. Модуль ast - а так же набор функций, среди которых нам интересны: - parse - 58
- 59. Модуль ast - а так же набор функций, среди которых нам интересны: - parse - преобразование исходного кода в AST. 59
- 60. Модуль ast - а так же набор функций, среди которых нам интересны: - parse - преобразование исходного кода в AST. - copy_location - 60
- 61. Модуль ast - а так же набор функций, среди которых нам интересны: - parse - преобразование исходного кода в AST. - copy_location - копирование позиции в коде с одного узла AST в другой. 61
- 62. Модуль ast - а так же набор функций, среди которых нам интересны: - parse - преобразование исходного кода в AST. - copy_location - копирование позиции в коде с одного узла AST в другой. - fix_missing_locations - 62
- 63. Модуль ast - а так же набор функций, среди которых нам интересны: - parse - преобразование исходного кода в AST. - copy_location - копирование позиции в коде с одного узла AST в другой. - fix_missing_locations - рекурсивно проставляет позиции в коде из родительских в дочерние узлы там, где они не проставлены. 63
- 64. Модуль ast - а так же набор функций, среди которых нам интересны: - parse - преобразование исходного кода в AST. - copy_location - копирование позиции в коде с одного узла AST в другой. - fix_missing_locations - рекурсивно проставляет позиции в коде из родительских в дочерние узлы там, где они не проставлены. - dump - 64
- 65. Модуль ast - а так же набор функций, среди которых нам интересны: - parse - преобразование исходного кода в AST. - copy_location - копирование позиции в коде с одного узла AST в другой. - fix_missing_locations - рекурсивно проставляет позиции в коде из родительских в дочерние узлы там, где они не проставлены. - dump - преобразование AST в текстовый вид (например, для отладочного вывода). 65
- 66. Модуль ast - а так же набор функций, среди которых нам интересны: - parse - преобразование исходного кода в AST. - copy_location - копирование позиции в коде с одного узла AST в другой. - fix_missing_locations - рекурсивно проставляет позиции в коде из родительских в дочерние узлы там, где они не проставлены. - dump - преобразование AST в текстовый вид (например, для отладочного вывода). - increment_lineno - 66
- 67. Модуль ast - а так же набор функций, среди которых нам интересны: - parse - преобразование исходного кода в AST. - copy_location - копирование позиции в коде с одного узла AST в другой. - fix_missing_locations - рекурсивно проставляет позиции в коде из родительских в дочерние узлы там, где они не проставлены. - dump - преобразование AST в текстовый вид (например, для отладочного вывода). - increment_lineno - увеличение номера строки для переданного узла (например, при вставке новых узлов). 67
- 68. Модуль ast - а так же набор функций, среди которых нам интересны: - parse - преобразование исходного кода в AST. - copy_location - копирование позиции в коде с одного узла AST в другой. - fix_missing_locations - рекурсивно проставляет позиции в коде из родительских в дочерние узлы там, где они не проставлены. - dump - преобразование AST в текстовый вид (например, для отладочного вывода). - increment_lineno - увеличение номера строки для переданного узла (например, при вставке новых узлов). 68
- 70. Часть III Которая меняет «всё» 70
- 72. Как все «обернуть»? 1. Декораторы 72
- 73. Как все «обернуть»? 1. Декораторы (функций или классов) 73
- 74. Как все «обернуть»? 1. Декораторы (функций или классов) 74
- 75. Как все «обернуть»? 1. Декораторы (функций или классов) 2. Импорт-хуки 75
- 76. Этапы трансформации 1. Получаем код и AST 76
- 77. Этапы трансформации 1. Получаем код и AST 77
- 78. Этапы трансформации 1. Получаем код и AST 78
- 79. Этапы трансформации 1. Получаем код и AST 79
- 80. Этапы трансформации 1. Получаем код и AST <_ast.Module object at 0x10ca53e80> Module ( body = [ FunctionDef ( name = 'my_function' , args = arguments( args = [arg('a'), arg('b'), arg('c')] ) , body = [ Return ( value = BinOp ( left = BinOp ( left = Name('a') , op = Add() , right = Name('b') ) , op = Add() , right = Name('c') ) ) ] ) ] ) 80
- 81. Этапы трансформации 2. Модифицируем AST 81
- 82. Этапы трансформации 2. Модифицируем AST. Пример 1 - изменение узла. 82
- 83. Этапы трансформации 2. Модифицируем AST. Пример 1 - изменение узла. 83
- 84. Этапы трансформации 2. Модифицируем AST. Пример 2 - удаление узла. 84
- 85. Этапы трансформации 2. Модифицируем AST. Пример 2 - удаление узла. 85
- 86. Этапы трансформации 2. Модифицируем AST. Пример 3 - вставка узла. 86
- 87. Этапы трансформации 2. Модифицируем AST. Пример 3 - вставка узла. 87
- 88. Этапы трансформации 2. Модифицируем AST А что делать с классом-трансформером? 88
- 89. Этапы трансформации 2. Модифицируем AST 89
- 90. Этапы трансформации 2. Модифицируем AST 90
- 91. Этапы трансформации 3. Компилируем AST и подменяем код 91
- 92. Этапы трансформации 3. Компилируем AST и подменяем код 92
- 93. Этапы трансформации 3. Компилируем AST и подменяем код 93
- 98. Часть IV А что мы можем 98
- 99. Внимание! Не повторяйте это дома в продакшн! * 99
- 100. Внимание! Не повторяйте это дома в продакшн! * ** Если вы не полностью понимаете, как именно это работает 100
- 101. Внимание! Не повторяйте это дома в продакшн! * ** Если вы не полностью понимаете, как именно это работает ** ** или если понимаете и это вас пугает 101
- 103. Почему нужно быть осторожным? Возможные последствия 103
- 104. Почему нужно быть осторожным? - Глюки отладки Возможные последствия 104
- 105. Почему нужно быть осторожным? - Глюки отладки - Возможность некорректной работы при «наложениях» различных модификаций AST Возможные последствия 105
- 106. Почему нужно быть осторожным? - Глюки отладки - Возможность некорректной работы при «наложениях» различных модификаций AST - Странные ошибки Возможные последствия 106
- 107. Почему нужно быть осторожным? - Глюки отладки - Возможность некорректной работы при «наложениях» различных модификаций AST - Странные ошибки - Зависимость от версии интерпретатора Возможные последствия 107
- 108. Пример 1. Константы Применяем оптимизацию Constant Propagation (распространение констант). 108
- 109. Пример 1. Константы Применяем оптимизацию Constant Propagation (распространение констант). То есть заменяем все обращения к «константным переменным» на значения этих переменных. 109
- 110. Пример 1. Константы Применяем оптимизацию Constant Propagation (распространение констант). То есть заменяем все обращения к «константным переменным» на значения этих переменных. Соответственно, для таких обращений не происходит поиска в locals и globals и зачитывания значений переменной. 110
- 111. Пример 1. Константы Применяем оптимизацию Constant Propagation (распространение констант). То есть заменяем все обращения к «константным переменным» на значения этих переменных. Соответственно, для таких обращений не происходит поиска в locals и globals и зачитывания значений переменной. Если в коде используется множество констант, то такая оптимизация даст неплохой прирост скорости. 111
- 112. Пример 1. Константы Применяем оптимизацию Constant Propagation (распространение констант). То есть заменяем все обращения к «константным переменным» на значения этих переменных. Соответственно, для таких обращений не происходит поиска в locals и globals и зачитывания значений переменной. Если в коде используется множество констант, то такая оптимизация даст неплохой прирост скорости. Источник идеи: http://blaag.haard.se/Using-the-AST-to-hack- constants-into-Python/ 112
- 113. 113
- 116. Пример 1. Константы Продолжая идею можно выполнять так же и Constant Folding «свертку констант», но алгоритм будет более сложным. 116
- 117. Пример 2. Автологгер Смысл «трансформации» в добавлении логирования к необходимым событиям 117
- 118. Пример 2. Автологгер Смысл «трансформации» в добавлении логирования к необходимым событиям, например: - вызов и возврат функции / метода (с выводом параметро и результата 118
- 119. Пример 2. Автологгер Смысл «трансформации» в добавлении логирования к необходимым событиям, например: - вызов и возврат функции / метода (с выводом параметро и результата - присвоение значения переменной 119
- 120. Пример 2. Автологгер Смысл «трансформации» в добавлении логирования к необходимым событиям, например: - вызов и возврат функции / метода (с выводом параметро и результата - присвоение значения переменной - импорте модуля 120
- 121. Пример 2. Автологгер Смысл «трансформации» в добавлении логирования к необходимым событиям, например: - вызов и возврат функции / метода (с выводом параметро и результата - присвоение значения переменной - импорте модуля - и т.д. 121
- 122. Пример 3. Автопрофайлер Идея та же, что и в автологгере, но при этом выполняется засечки «до» и «после» каждого события и замеряется время выполнения, например, работы каждой функции. 122
- 124. Пример 4. Макросы Проект karnickel 124
- 125. Пример 4. Макросы Проект karnickel www.pocoo.org/projects/karnickel/ 125
- 126. Пример 4. Макросы Проект karnickel 126
- 127. Пример 4. Макросы Проект karnickel 127
- 128. Пример 5. Расширение возможностей языка 128
- 129. Пример 5. Расширение возможностей языка Для начала вспомним, в какой момент формируется AST… 129
- 130. Пример 5. Расширение возможностей языка Для начала вспомним, в какой момент формируется AST… …Всякая хрень, о которой все уже забыли… 130
- 131. Пример 5. Расширение возможностей языка Для начала вспомним, в какой момент формируется AST… …Всякая хрень, о которой все уже забыли… Синтаксический анализатор (parser) 131
- 132. Пример 5. Расширение возможностей языка Для начала вспомним, в какой момент формируется AST… …Всякая хрень, о которой все уже забыли… Синтаксический анализатор (parser) AST 132
- 133. Пример 5. Расширение возможностей языка Для начала вспомним, в какой момент формируется AST… …Всякая хрень, о которой все уже забыли… Синтаксический анализатор (parser) AST …ещё какая-то хрень… 133
- 134. Пример 5. Расширение возможностей языка Для начала вспомним, в какой момент формируется AST… …Всякая хрень, о которой все уже забыли… Синтаксический анализатор (parser) AST …ещё какая-то хрень… Компиляция в байт-код 134
- 135. Пример 5. Расширение возможностей языка Для начала вспомним, в какой момент формируется AST… Синтаксический анализатор (parser) AST Компиляция в байт-код 135
- 136. Пример 5. Расширение возможностей языка Практически любая синтаксически верная конструкция на языке Python с помощью модификации AST может быть превращена в компилируемый семантически верный код. 136
- 137. Пример 5. Расширение возможностей языка
- 138. Пример 5. Расширение возможностей языка Проект MacroPy 138
- 139. Проект MacroPy https://github.com/lihaoyi/macropy Пример 5. Расширение возможностей языка 139
- 140. Проект MacroPy Пример 5. Расширение возможностей языка 140
- 141. Проект MacroPy Пример 5. Расширение возможностей языка 141
- 142. Проект MacroPy Пример 5. Расширение возможностей языка 142
- 143. Проект MacroPy Пример 5. Расширение возможностей языка 143
- 144. Проект MacroPy Пример 5. Расширение возможностей языка 144
- 146. Проект Pony ORM Пример 5. Расширение возможностей языка 146
- 147. Проект Pony ORM https://ponyorm.com Пример 5. Расширение возможностей языка 147
- 148. Ещё… 148 Оптимизация, Кодогенерация, Создание DSL, Расширение возможностей языка, Ленивые вычисления, Паттерн-матчинг, и многое другое…
- 149. Инструменты 149
- 152. Инструменты ast_tool_box https://github.com/ucb-sejits/ast_tool_box
- 153. Ссылки Design of CPython’s Compiler: https://docs.python.org/devguide/compiler.html https://www.python.org/dev/peps/pep-0339/ Green Tree Snakes - the missing Python AST docs http://greentreesnakes.readthedocs.org http://bitbucket.org/takluyver/greentreesnakes/src 153 Импорт в Питоне http://asvetlov.blogspot.ru/2010/05/blog-post.html http://asvetlov.blogspot.ru/2010/05/2.html http://asvetlov.blogspot.ru/2010/05/3.html https://docs.python.org/3/reference/import.html https://www.python.org/dev/peps/pep-0302/
- 154. Ссылки 154 Instrumenting the AST: http://www.dalkescientific.com/writings/diary/archive/2010/02/22/ instrumenting_the_ast.html Using the AST to hack constants into Python: blaag.haard.se/Using-the-AST-to-hack-constants-into-Python/ The Zephyr Abstract Syntax Description Language: ftp://ftp.cs.princeton.edu/techreports/1997/554.pdf Abstract Syntax Trees: https://docs.python.org/3/library/ast.html Hacking Python AST: checking methods declaration: https://julien.danjou.info/blog/2015/python-ast-checking-method- declaration
- 155. Спасибо за внимание Вопросы, пожелания, предложения, замечания, угрозы? можно присылать на почту [email protected] 155