Введение 4
1 Анализ возможности автоматической проверки задач по
программированию 7
1.1 Основные критерии оценки программных решений студентов 7
1.2 Используемые методы проверки программных решений студентов 8
1.3 Постановка задачи на исследование реализации автоматической
проверки программных решений 13
2 Анализ существующих решений проблем автоматической проверки задач
по программированию 18
2.1 Способы проверки корректности исходного кода программы 18
2.2 Методы проверки оригинальности исходного кода программы 21
2.3 Способы проверки корректности работы программы 27
2.4 Способы безопасного выполнения программы 29
2.5 Пути решения задач автоматической проверки программных
решений 34
3 Разработка модели процесса автоматической проверки задач по
программированию 36
3.1 Общая модель процесса проверки программного решения 36
3.2 Проверка оригинальности исходного кода программного решения 38
3.3 Оценка стиля исходного кода программного решения 45
3.4 Оценка корректности работы программы 50
4 Оценка разработанной модели процесса автоматической проверки задач по
программированию 55
4.1 Критерии оценки полученной модели процесса автоматической
проверки программных решений 55
4.2 Исходные данные для проверки программных решений 56
4.3 Тестирование разработанной модели процесса автоматической проверки
программных решений 61
4.4 Оценка и анализ результатов тестирования разработанной модели
процесса автоматической проверки программных решений 63
4.5 Возможные перспективы дальнейшего развития разработанной модели процесса автоматической проверки программных решений 66
Заключение 69
Список используемой литературы и используемых источников 70
Онлайн-образование, несмотря на свою относительную молодость, в настоящее время набирает всё большую популярность, так как благодаря нему можно получать знания, находясь практически в любом месте, и стоимость такого обучения значительно ниже. Как и при обычном обучении, получая образование дистанционно, необходимо выполнять различные работы, которые впоследствии буду проверены и оценены. Так как обучение производится дистанционно и нужно проверять достаточно большое количество различных работ учащихся, образовательному учреждению просто необходимо использовать системы автоматической проверки работ.
В рамках данной темы будет рассматриваться автоматическая проверка задач по программированию при дистанционном обучении в Тольяттинском государственном университете.
Объектом исследования являются методы и технологии автоматической проверки заданий при онлайн обучении.
Предметом исследования является процесс автоматической проверки задач по программированию при онлайн обучении.
Целью данного исследования является создание модели процесса автоматической проверки задач по программированию при онлайн обучении.
Для достижения поставленной цели необходимо выполнить следующие задачи:
- изучить критерии оценки работы студента;
- выявить основные положения, концепции системы автоматической проверки задач по программированию при онлайн обучении;
- изучить методы и технологии проверки исходного кода программы студента;
- изучить методы и технологии проверки работы программы студента и выдаваемых ею результатов;
- создать модель процесса автоматической проверки задач по программированию при онлайн обучении.
Для достижения поставленной цели, исследование будет проводится методом абстрагирования.
Научная новизна исследования определяется поставленной научной целью и задачами, имеющими теоретическую и практическую значимость, и выражается в расширении научных представлений о статическом анализе исходного кода и автоматической оценке программного решения. Новизна заключается в сделанных на основании проведенного исследования научных предложениях и выводах, в том числе: выделены критерии оценки программного решения; обоснован выбор методов и способов, решающих проблемы автоматической проверки программных решений; разработаны алгоритмы проверки исходного кода программного решения.
На защиту выносятся следующие основные положения, являющиеся новыми или содержащие элементы новизны:
- разработана модель процесса автоматической проверки задач по программированию;
- для определения процента оригинальности исходного кода в процесс автоматической проверки был внедрён метод разбиения на токены;
- внедрено использование виртуальных машин для безопасной проверки работы программного решения, а также дополнен алгоритм его тестирования;
- разработан алгоритм проверки стиля исходного кода, использующий авторскую систему штрафных баллов.
Теоретическая значимость работы заключается в том, что полученные результаты оказали влияние на область статического анализа исходного кода программ.
Практическая значимость - итоги исследования могут быть применены для создания системы автоматической проверки программных решений при онлайн обучении.
Основные теоретические положения, выводы и научно-практические рекомендации, которые изложены в диссертации, получили отражение в 2 статьях.
Результаты исследования были обсуждены на конференциях:
- Международная научно-техническая конференция «Перспективные информационные технологии» (ПИТ-2020);
- VI Международная научно-практическая конференция (школа- семинар) молодых ученых «Прикладная математика и информатика: современные исследования в области естественных и технических наук»;
- IV Всероссийская научная конференция с международным участием «Информационные технологии в моделировании и управлении: подходы, методы, решения»;
- VII Международная научно-практическая конференция (школа- семинар) молодых ученых «Прикладная математика и информатика: современные исследования в области естественных и технических наук».
Диссертационное исследование состоит из введения, 4 разделов, заключения и библиографии (30 наименований). Работа изложена на 74 страницах, содержит 23 рисунка и 15 таблиц.
В ходе работы были выделены основные критерии оценки программы студента: корректность исходного кода программы и её работы, оригинальность решения и безопасность его выполнения. Рассмотрены существующие системы автоматической проверки задач по программированию и то, как они оценивают решения учеников по выделенным критериям, описаны общие алгоритм работы и структура существующих систем. В результате были поставлены актуальные задачи, которые должна решать автоматическая проверка программных решений. В соответствии с поставленными задачами были исследованы различные методы и технологии как способы, которые можно использовать для автоматической проверки задач по программированию при дистанционном обучении. На основе проведённого анализа были предложены пути решения поставленных задач.
Был спроектирован процесс автоматической проверки программных решений. На ранних его этапах отсеиваются решения, которые являются попытками получения высокого балла обманным путём. В ходе основной проверки, используя разработанную систему штрафных баллов, оценивается стиль исходного кода решения, а также результаты выполнения программы на наборе тестов. В большинстве методов, которые используются для проверки, применяются наборы регулярных выражений, что позволяет масштабировать, расширять созданную модель, а выполнение внутри виртуальной машины позволяет обезопасить процесс от вредоносных программ и оценивать решения, написанные для разных операционных систем. В конце работы была произведена оценка разработанной модели по выделенным критериям, а также проанализированы её достоинства и недостатки.
Разработанная модель может быть применена для создания полноценной системы автоматической проверки задач по программированию при онлайн обучении.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
