РАЗРАБОТКА ДЕКОМПИЛЯТОРА БАЙТ-КОДА ЯЗЫКА ПРОГРАММИРОВАНИЯ RUBY
|
Реферат
Перечень терминов 5
Введение 6
1. Устройство интерпретатора Ruby 10
1.1. Виртуальная машина YARV 10
1.2. Подготовка исходного кода к интерпретации 12
1.3. Обзор формата инструкций YARV. Создание инструкций 14
1.4. Генерация вложенных сегментов байт-кода 20
1.5. Локальная таблица сегмента байт-кода 26
1.5.1. Безымянные аргументы 28
1.5.2. Необязательные (опциональные) аргументы 29
1.5.3. Именованные параметры 30
2. Обзор существующих решений 32
2.1. reversal 32
2.2. ruby-decompiler 32
2.3. Сравнительный анализ существующих решений 33
3. Реализация декомпилятора 35
3.1. Требования к декомпилятору 35
3.2. Используемые подходы к декомпиляции 36
3.3. Устройство декомпилятора 37
3.4. Разбор простейших инструкций байт-кода 42
3.5. Инструкции для работы с классами и методами 46
3.6. Методы и блоки с аргументами 52
3.7. Конструкции ветвления и циклов 55
3.7.1. Условная конструкция if (без альтернативных вариантов) 57
3.7.2. Условная конструкция if-else 58
3.7.3. Циклические конструкции while/until 60
3.8. Сравнение декомпилятора с существующими решениями 61
4. Тестирование 63
4.1. Тестирование модулей декомпилятора 63
4.2. Интеграционное тестирование декомпилятора 64
Заключение 69
Список источников 70
Перечень терминов 5
Введение 6
1. Устройство интерпретатора Ruby 10
1.1. Виртуальная машина YARV 10
1.2. Подготовка исходного кода к интерпретации 12
1.3. Обзор формата инструкций YARV. Создание инструкций 14
1.4. Генерация вложенных сегментов байт-кода 20
1.5. Локальная таблица сегмента байт-кода 26
1.5.1. Безымянные аргументы 28
1.5.2. Необязательные (опциональные) аргументы 29
1.5.3. Именованные параметры 30
2. Обзор существующих решений 32
2.1. reversal 32
2.2. ruby-decompiler 32
2.3. Сравнительный анализ существующих решений 33
3. Реализация декомпилятора 35
3.1. Требования к декомпилятору 35
3.2. Используемые подходы к декомпиляции 36
3.3. Устройство декомпилятора 37
3.4. Разбор простейших инструкций байт-кода 42
3.5. Инструкции для работы с классами и методами 46
3.6. Методы и блоки с аргументами 52
3.7. Конструкции ветвления и циклов 55
3.7.1. Условная конструкция if (без альтернативных вариантов) 57
3.7.2. Условная конструкция if-else 58
3.7.3. Циклические конструкции while/until 60
3.8. Сравнение декомпилятора с существующими решениями 61
4. Тестирование 63
4.1. Тестирование модулей декомпилятора 63
4.2. Интеграционное тестирование декомпилятора 64
Заключение 69
Список источников 70
Динамические интерпретируемые языки программирования высокого уровня пользуются популярностью в качестве инструмента для прототипирования и непосредственной разработки различных программных систем [7].
Одним из ярких примеров динамического языка программирования, получившего большое распространение в последние годы, является Ruby. Этот мультипарадигмальный язык общего назначения был разработан Юкихиро Мацумото (Yukihiro Matsumoto) в середине девяностых годов прошлого века, однако обрёл особенную популярность лишь спустя десятилетие с появлением платформы Ruby on Rails, предоставляющей множество удобных инструментов для упрощения процесса разработки веб-сайтов и веб-сервисов [8].
К ключевым особенностям Ruby, которые делают его эффективным и удобным инструментом разработки, относятся выразительность и гибкость данного языка программирования. Первое позволяет программисту наиболее полно и чётко выражать в программном коде свои намерения и максимально подробно описывать поведение программы, опустив при этом излишние в данном контексте детали реализации. Гибкость же вкупе с динамической природой Ruby даёт возможность прямо в ходе исполнения программы не только узнать о структуре и содержимом любого объекта системы (т.н. отражение или рефлексия), но и изменять сам смысл и поток работы программного кода путём добавления новых классов и методов, переопределения логики работы функций и так далее. Иными словами, Ruby располагает набором мощных средств для метапрограммирования, что даёт разработчикам возможность переложить рутинную работу по написанию служебного кода на сам язык, в то время как они будут заниматься лишь описанием высокоуровневых бизнес- процессов.
Разумеется, как и у любого инструмента, у Ruby есть и недостатки. Как уже было сказано, Ruby — язык интерпретируемый, то есть программы на этом языке не преобразуется в машинные коды напрямую (как в случае с компилируемыми языками), а обрабатываются по мере их выполнения специальной виртуальной машиной. Фактически это размывает привычные границы между непосредственно самой программой, предназначенной для запуска пользователем, и исходным кодом этой программы. Хотя Ruby и используется в большей степени для разработки веб-сайтов [9] (где прямого доступа к исходным кодам у пользователей нет — вся работа происходит в формате запрос-ответ), то даже в таком случае может возникнуть, например, необходимость развернуть некий веб-сервис на аппаратном обеспечении одного из клиентов. При этом, разумеется, передача исходных кодов напрямую недопустима, поскольку возможно их незаконное использование: например раскрытие уникальной бизнес-логики и алгоритмов обработки данных.
Одним из решений данной проблемы является использование байткода Ruby в качестве промежуточной формы представления программ. Несмотря на то, что Ruby — язык интерпретируемый, перед непосредственным началом интерпретации программы виртуальной машиной, она проходит своего рода «компиляцию», которая преобразует исходный код в набор инструкций для виртуальной машины (по мере возможности оптимизированный для повышения производительности). Такой байт-код, хоть и является довольно высокоуровневым и отражает всю семантику исходного кода, а так же содержит в себе большое количество метаданных (вплоть до номеров строк и названий переменных), всё же крайне неудобен для чтения и понимания человеком. Это делает такое промежуточное представление привлекательным способом передачи программы клиенту, которую он сможет запустить, но исходные коды которой не сможет прочитать без специальных знаний и умений.
Полученный байт-код можно дополнительно зашифровать при помощи специальных инструментов, например, RubyEncoder: это набор утилит, которые с одной стороны позволяют авторам программы преобразовать её в зашифрованный байт-код, недоступный для чтения, а с другой стороны дают возможность клиенту запустить полученные им зашифрованные файлы программы и использовать их как обычные файлы исходного кода на языке Ruby [10].
Разработка подобных инструментов и средств представления программ на языке Ruby в промежуточной форме требует постоянной проверки корректности генерируемого байт-кода для поиска и устранения ошибок при совершении преобразований. Однако, на текущий момент не существует инструментов обратного преобразования (т.н. декомпиляции), которые бы позволяли восстановить исходный код программы, получая на вход лишь сгенерированный заранее набор инструкций байт-кода. Это приводит к необходимости использования ручного тестирования, которое значительно увеличивает время разработки, одновременно понижая процент найденных дефектов из-за человеческого фактора.
Целью данной работы является реализация такого автоматического декомпилятора, поддерживающего базовые конструкции языка Ruby и способного автоматизировать ручное восстановление исходного кода.
Основные задачи данной работы:
1. Изучить процесс интерпретации программ, написанных на языке программирования Ruby, а также формат генерируемого интерпретатором этого языка байт-кода.
2. Изучить возможные подходы к декомпиляции байт-кода и определиться со структурой разрабатываемого декомпилятора. Обозначить набор требований к декомпилятору, в том числе множе ство конструкций байт-кода и соответствующих им конструкций языка программирования Ruby, которые подлежат декомпиляции.
3. Реализовать декомпилятор в формате динамической библиотеки языка программирования Ruby, поддерживающей обработку ранее определённого набора конструкций языка.
4. Удостовериться в корректности работы декомпилятора на обозначенном наборе конструкций языка путём модульного тестирования компонентов декомпилятора, а также интеграционного тестирования декомпилятора в целом при работе в качестве библиотеки языка программирования Ruby.
Одним из ярких примеров динамического языка программирования, получившего большое распространение в последние годы, является Ruby. Этот мультипарадигмальный язык общего назначения был разработан Юкихиро Мацумото (Yukihiro Matsumoto) в середине девяностых годов прошлого века, однако обрёл особенную популярность лишь спустя десятилетие с появлением платформы Ruby on Rails, предоставляющей множество удобных инструментов для упрощения процесса разработки веб-сайтов и веб-сервисов [8].
К ключевым особенностям Ruby, которые делают его эффективным и удобным инструментом разработки, относятся выразительность и гибкость данного языка программирования. Первое позволяет программисту наиболее полно и чётко выражать в программном коде свои намерения и максимально подробно описывать поведение программы, опустив при этом излишние в данном контексте детали реализации. Гибкость же вкупе с динамической природой Ruby даёт возможность прямо в ходе исполнения программы не только узнать о структуре и содержимом любого объекта системы (т.н. отражение или рефлексия), но и изменять сам смысл и поток работы программного кода путём добавления новых классов и методов, переопределения логики работы функций и так далее. Иными словами, Ruby располагает набором мощных средств для метапрограммирования, что даёт разработчикам возможность переложить рутинную работу по написанию служебного кода на сам язык, в то время как они будут заниматься лишь описанием высокоуровневых бизнес- процессов.
Разумеется, как и у любого инструмента, у Ruby есть и недостатки. Как уже было сказано, Ruby — язык интерпретируемый, то есть программы на этом языке не преобразуется в машинные коды напрямую (как в случае с компилируемыми языками), а обрабатываются по мере их выполнения специальной виртуальной машиной. Фактически это размывает привычные границы между непосредственно самой программой, предназначенной для запуска пользователем, и исходным кодом этой программы. Хотя Ruby и используется в большей степени для разработки веб-сайтов [9] (где прямого доступа к исходным кодам у пользователей нет — вся работа происходит в формате запрос-ответ), то даже в таком случае может возникнуть, например, необходимость развернуть некий веб-сервис на аппаратном обеспечении одного из клиентов. При этом, разумеется, передача исходных кодов напрямую недопустима, поскольку возможно их незаконное использование: например раскрытие уникальной бизнес-логики и алгоритмов обработки данных.
Одним из решений данной проблемы является использование байткода Ruby в качестве промежуточной формы представления программ. Несмотря на то, что Ruby — язык интерпретируемый, перед непосредственным началом интерпретации программы виртуальной машиной, она проходит своего рода «компиляцию», которая преобразует исходный код в набор инструкций для виртуальной машины (по мере возможности оптимизированный для повышения производительности). Такой байт-код, хоть и является довольно высокоуровневым и отражает всю семантику исходного кода, а так же содержит в себе большое количество метаданных (вплоть до номеров строк и названий переменных), всё же крайне неудобен для чтения и понимания человеком. Это делает такое промежуточное представление привлекательным способом передачи программы клиенту, которую он сможет запустить, но исходные коды которой не сможет прочитать без специальных знаний и умений.
Полученный байт-код можно дополнительно зашифровать при помощи специальных инструментов, например, RubyEncoder: это набор утилит, которые с одной стороны позволяют авторам программы преобразовать её в зашифрованный байт-код, недоступный для чтения, а с другой стороны дают возможность клиенту запустить полученные им зашифрованные файлы программы и использовать их как обычные файлы исходного кода на языке Ruby [10].
Разработка подобных инструментов и средств представления программ на языке Ruby в промежуточной форме требует постоянной проверки корректности генерируемого байт-кода для поиска и устранения ошибок при совершении преобразований. Однако, на текущий момент не существует инструментов обратного преобразования (т.н. декомпиляции), которые бы позволяли восстановить исходный код программы, получая на вход лишь сгенерированный заранее набор инструкций байт-кода. Это приводит к необходимости использования ручного тестирования, которое значительно увеличивает время разработки, одновременно понижая процент найденных дефектов из-за человеческого фактора.
Целью данной работы является реализация такого автоматического декомпилятора, поддерживающего базовые конструкции языка Ruby и способного автоматизировать ручное восстановление исходного кода.
Основные задачи данной работы:
1. Изучить процесс интерпретации программ, написанных на языке программирования Ruby, а также формат генерируемого интерпретатором этого языка байт-кода.
2. Изучить возможные подходы к декомпиляции байт-кода и определиться со структурой разрабатываемого декомпилятора. Обозначить набор требований к декомпилятору, в том числе множе ство конструкций байт-кода и соответствующих им конструкций языка программирования Ruby, которые подлежат декомпиляции.
3. Реализовать декомпилятор в формате динамической библиотеки языка программирования Ruby, поддерживающей обработку ранее определённого набора конструкций языка.
4. Удостовериться в корректности работы декомпилятора на обозначенном наборе конструкций языка путём модульного тестирования компонентов декомпилятора, а также интеграционного тестирования декомпилятора в целом при работе в качестве библиотеки языка программирования Ruby.
В работе исследован и описан формат инструкций виртуальной машины Ruby, рассмотрены вопросы генерации и особенности интерпретации данных инструкций. Выработаны шаблоны отображения конструкций байт-кода в соответствующие им конструкции исходного кода на языке Ruby. Разработан декомпилятор, позволяющий производишь такое отображение автоматически для заданного набора конструкций байт-кода.
Таким образом, цель работы достигнута, её результаты могут быть использованы в дальнейшем при исследовании особенностей работы виртуальной машины Ruby.
Таким образом, цель работы достигнута, её результаты могут быть использованы в дальнейшем при исследовании особенностей работы виртуальной машины Ruby.
