Введение 3
Постановка задачи 5
Термины 6
Обзор литературы 8
Глава 1. Данные 13
1.1. Разметка данных 14
1.2. Оценочные данные 17
1.3. Обработка данных 17
Глава 2. Реккурентные нейронные сети 20
2.1. RNN 20
2.2. LSTM 21
Глава 3. Эксперименты над данными 24
3.1. Базовый алгоритм 24
3.2. Модель-конкурент 24
3.3. Предлагаемая модель 24
3.4. Ранжирование 26
3.5. Результаты 29
Выводы 32
Заключение 33
Список литературы
Область искусственного интеллекта, стремительно развивающаяся в последние несколько лет, успешно применяется везде, где возникает потребность в обработке информации. Но если обработка естественного языка сейчас является хорошо изученным разделом машинного обучения, то пусть и похожие на них языки программирования имеют другую структуру, более сложные связи между оперируемыми сущностям и совершенно иной спектр прикладных задач, для которых привычные для NLP методы необходимо грамотно адаптировать. Поэтому программирование само по себе является не только инструментом для создания нейросетевых моделей, но и областью, где такие модели могут быть востребованы. Так, в процессе создания качественного программного обеспечения время, затраченное на написание кода и поиск и исправление ошибок, примерно сопоставимо между собой. Желание упростить одну из этих частей сводится к исследованию двух обширных задач: задачи автоматической генерации программного кода и более простой, но не менее важной - задачи поиска ошибок в полученном коде.
Задача автоматической генерации корректного кода кажется более привлекательной с точки зрения экономии трудозатрат, однако она еще не была качественно решена по ряду причин, самой трудной из которых является сложность формализации требований от человека к результирующей программе. Но существует вспомогательная к ней задача - задача поиска ошибок в исходном коде программы, которая могла бы помочь автоматически исправлять ошибки в программах, тем самым пусть и не автоматизируя, но существенно упрощая процесс написания и валидации кода. Научить модель искать ошибки по какому-то определенному алгоритму вполне реально при помощи статических анализаторов кода, однако они не учитывают более сложные и глубоко заложенные ошибки, часто возникающие непосредственно при исполнении программы. Человек может выявить такие ошибки при ручном методе отладки программы, но это довольно сложно задать в виде каких-либо инструкций. Поскольку в процессе компиляции и работы программ при возникновении ошибок происходит вывод стека вызовов, где происходит вывод сообщений об ошибках и путей до методов, где эта ошибка вскрылась, можно использовать эту информацию для ограничения области поиска ошибок в программе. Таким образом, совместно используя информацию как об исходном коде программы, так и зная последовательность вызванных функций до обнаруженной ошибки, можно построить модель, которая будет указывать на метод, содержащий в себе некорректный код.
Постановка задачи
Основной задачей этой работы является создание модели, позволяющей упростить и ускорить нахождение ошибок в исходном коде программ на основе информации об исходном коде и стеках вызовов. Поскольку данные о стеках вызовов были предоставлены компанией JetBrains и взяты из проекта IntelliJ IDEA, разработка которой ведется преимущественно на языке программирования Java, модель будет ориентирована на обработку данных именно на этом языке.
Решить поставленную задачу предполагается через выполнение следующих этапов:
• ознакомиться с литературой и узнать подробнее о существующих подходах в области локализации ошибок
• собрать данные и привести их в вид, пригодный для подачи на вход модели, разделить на обучающее и оценочное множества
• оценить работу лучшей и наиболее похожей по используемым данным модели-конкурента
• разработать архитектуру модели и реализовать ее
• обучить модель на тренировочной части существующих данных и оценить на отложенной выборке
• оценить модель на общеизвестных данных, чтобы сравнить качество с существующими алгоритмами
Был произведен полный цикл разработки модели машинного обучения, включающий в себя сбор данных, обучение и оценку модели. Для нее была использована архитектура LSTM c улучшением в виде обучаемого эмбеддинга вместо отсутствующих векторов. На ее предсказаниях и дополнительных признаках были также обучены деревья градиентного бустинга, что дало дополнительный прирост качества предсказаний. Используемые скрипты легко адаптируются, что позволит использовать их в дальнейшем в продукте компании JetBrains. Итоговая модель показывает хорошие результаты как на предоставленных компанией данных, так и на общедоступном датасете Defects4j.
Дальнейшие исследования будут включать в себя добавление языка Kotlin, поскольку он тоже широко применяется в кодовой базе IntelliJ IDEA, создание и отладку пайплайна по автоматизированному обучению и использованию модели, а также выпуск статьи по теме после проведения дополнительных экспериментов.
