Тип работы:
Предмет:
Язык работы:


АВТОМАТИЧЕСКИЙ АНАЛИЗ ТОНАЛЬНОСТИ ТЕКСТА (НА МАТЕРИАЛЕ УЧЕБНЫХ ТЕКСТОВ)

Работа №39153

Тип работы

Дипломные работы, ВКР

Предмет

педагогика

Объем работы80
Год сдачи2019
Стоимость6500 руб.
ПУБЛИКУЕТСЯ ВПЕРВЫЕ
Просмотрено
591
Не подходит работа?

Узнай цену на написание


Введение 3
Глава 1. Текст и его сложность 7
1.1. Форма и содержание текста 7
1.2. Тональность текста как научная проблема 11
1.3 Программы для определения сложности и тональности текста как инструменты определения качества и сложности текста 19
Выводы по 1 главе 29
Глава 2. Количественная и качественная оценка учебных текстов 30
2.1 Количественная и качественная оценка параметров текстов 30
2.2 Корреляции тональности текстов УМК Spotlight для 5-6 класса и
сопоставительный анализ со сложностью 41
Выводы по 2 главе 47
Заключение 48
Список литературы 50
Приложение 1 58
Приложение 2 63
Приложение 3 72
Приложение 4 73
Приложение 5 75
Приложение 6


Данная работа посвящена анализу сложности текстов на основе учебных материалов и определение их тональности.
Область науки, которая существует уже несколько десятков лет и известная для всех как обработка естественного языка (Natural Language Processing, NLP) и компьютерная лингвистика (Computational Linguistic, CL) стала развиваться после появления сети Интернет и значительного роста, открытого для доступа текстовой информации. В пределах данной отрасли было предоставлено огромное количество концепций по автоматической обработке текстов, реализацию которых удалось воплотить во многих практических учениях, включая коммерческих.
Современная модернизация структуры и содержания учебников иностранного языка обусловлена рядом причин: реорганизацией в языке, требованиями общества к объему знаний и умений учеников, новыми технологиями обучения, предусматривающий более высокую академическую мобильность. Следовательно, особого внимания заслуживают информативные, качественные, легкие на усвоение тексты в учебных материалах, предлагаемых ученикам. Хотя вопрос отбора текста являлся и является обсуждаемой темой для ряда зарубежных и отечественных исследователей, большинство вопросов, включающие способ отбора текста по его тональности до сих пор являются нераскрытыми [Большакова, Клышинский, Ландэ, Носков, Пескова, Ягунова, 2011, с. 8].
Актуальностью данного исследования является необходимость создания алгоритмов по отбору и адаптации текстовых учебных материалов при организации учебного процесса.
Целью работы является определение взаимосвязи тональности со сложностью текстов УМКSpotlight 5-6 классов, используемых в РФ.
Поставленная цель определила следующие задачи исследования:
1. Изучить теоретические основы понятия сложность текста, тональность текста.
2. Подобрать программы, для использования автоматического анализа сложности тональности текста.
3. Осуществить выборку текстов из выбранного учебно-методического комплекса.
4. Выполнить анализ сложности текстов УМК по Flash Kincaid Grade Level
5. Описать параметры, полученные при помощи расчета Flash Kincaid Grade Level
6. Выполнить автоматический анализ тональности текстов УМК при помощи программы Text Inspector
7. Выявить взаимосвязь тональности со сложностью текстов УМК Spotlight 5-6 класса
Объектом исследования являются категории тональности и сложности учебных текстов.
Предметом исследования является параметры тональности и сложность текстов УМК Spotlight5-6 класса.
В ходе исследования были применены следующие приемы и методы исследования: метод статистического анализа, сравнительно-сопоставительный метод. В данной работе так же применялись формула читабельности Флеш-Кинкейда для англоязычных текстов, программ автоматизированной обработки текстов WebFX, автоматический анализ тональности текста при помощи программы Text Inspector.
Материалом для исследования послужили тексты из учебника Spotlightдля 5-го класса общим объемом 2497 словоупотреблений и тексты из учебника Spotlightдля 6-го класса общим объемом 4825 словоупотреблений.
В ходе исследования были выведены следующие гипотезы:
1. Тексты, предлагаемые в УМК, усложняются от начального текста до конечного, т.е. по мере изучения учебного материала, и соответствуют языковой компетенции обучающихся;
2. Тональность и сложность текста являются взаимосвязанными параметрами текстов. Чем выше показатель сложности текста, тем выше его тональность
Научная новизна состоит в выявлении параметров, связывающих тональность и сложность текстов УМК Spotlight для 5-го и 6-го классов.
Теоретическая значимость представленной работы заключается в том, что разработанный алгоритм анализа трансформаций содержательных и количественных параметров, а также методика определения сложности текста и эмоциональной окрашенности текстов на английском языке, могут быть использованы в дальнейших исследованиях текстов различных жанров и типов.
Практическая значимость результатов исследования состоит в их дальнейшем использовании в курсах по языкознанию, теории языка, социолингвистике, стилистике, а также при написании научных работ для различных квалификационных уровней.
Структура работы: введение, теоретическая глава «Текст и его сложность», практическая глава «Корреляции тональности текстов УМК Spotlight для 5-6 класса и сопоставительный анализ со сложность», заключение, список литературы, приложение.
Во введении говорится об актуальности выбранной темы, расставляются цели, указываются объект и предмет исследования, перечисляются основные задачи, анализируется теоретическая значимость, указывается практическая ценность данной работы, разбирается структура данной работы.
В первой (теоретической) главе «Текст и его сложность» указываются теоретические основы сложности текста, описывается понятие и сущность понятия текст и его сложность, рассматривается анализ тональности текста и его значимость в изучении сложности текста.
В практической главе «Корреляции тональности текстов УМК Spotlight для 5-6 класса и сопоставительный анализ со сложностью» представлены виды автоматического анализа текстов, проводится анализ сложности текстов УМК по обучению английскому языку Spotlight^ra 5-х и 6-х классов, проводится эксперимент по выявлению взаимодействия тональности текста со сложностью его восприятия.
В заключение представлены выводы, получившие подтверждение в ходе осуществленного исследования

Возникли сложности?

Нужна помощь преподавателя?

Помощь студентам в написании работ!


Разнообразие учебно-методических комплексов является большим преимуществом современности, но также возникают проблемы в связи с этим. Изобилие учебных материалов нередко приводит к неправильному выбору учебника, не соответствующего требуемому уровню. Поэтому при выборе УМК следует обращать внимание на различные параметр текста, помогающие оценить уровень текста. В будущем это может помочь предотвратить проблемы при работе учеников с данным учебником и при планировании учебного процесса.
В представленной работе осуществлен комплексный анализ текстов по учебникам по английскому языку Spotlight для 5-х и 6-х классов.
В ходе исследования были определены основные лингвистические и прагматические категории текста. Были установлены характеристики, выявленные после автоматических анализов сложности и тональности учебных текстов.
По итогам изучения теоретических основ сложности и тональности текста и проведения собственной опытно-экспериментальной работы нами выделяется необходимость более широкого анализа тональности учебных текстов перед их использованием на уроках английского языка на средней ступени обучения.
В данном исследовании доказывается, что проведенные автоматические анализы тональности учебных текстов представляют собой базу для эффективного формирования эффективного УМК, для дальнейшей работы в процессе обучения английскому языку учеников в средней школе.
Проведено исследование направлений развития области анализ атональности учебного текста на английском, которое показало, что применение алгоритмов машинного обучения является целесообразным для достижения поставленной цели.
Стоит отметить, что результаты оценивания уровня сложности и тональности можно получить быстро с помощью определенных автоматизированных программ, однако для качественной оценки мы прибегли к сравнительно-сопоставительному анализу и выборке определенных параметров различных программ, что важно для качественного анализа.
Первые результаты автоматического анализа текстов могут быть получены достаточно быстро, как на основе инженерно-лингвистического подхода, так и на основе методов машинного обучения.
В ходе исследования выявленные ранее гипотезы были подтверждены: в отечественных УМК Spotlight для 5-го и 6-го класса есть тенденция к увеличению сложности тексты от начального до конечных текстов, что соответствует требуемым стандартам. Однако в ходе анализа, было выявлено их несоответствие требуемой возрастной категории.
Была также выявлена взаимосвязь таких параметров текста, как его сложность и тональность. В ходе эксперимента установилось, что чем сложнее текст, тем выше его тональность, эмоциональная окрашенность и более четко выражена роль автора.
Полученный в результате исследования прототип можно использовать как основу для создания УМК, полностью соответствующего требованиям читабельности учебных текстов для УМК по английскому языку. Также возможна реформа использования УМК и возможность его выбора учителем по требуемым стандартам и параметрам, как это делается за рубежом. Таким образом, может повыситься эффективность использования УМК, которые будут подходить под индивидуальные требования учеников, а не использовать стандартизированные учебники.
Делая вывод можно сказать, что компьютерная лингвистика предоставляет огромную пользу лингвистам и педагогам, так как автоматизированные программы дают результаты максимально приближенные к действительности и занимают меньше времени оценки сложности текстов.



1. Автоматическая обработка текстов на естественном языке и анализ данных : учеб. пособие / Большакова Е.И., Воронцов К.В., Ефремова Н.Э., Клышинский Э.С., Лукашевич Н.В., Сапин А.С. — М.: Изд-во НИУ ВШЭ,2017. - 269 с.
2. Автоматическая обработка текстов на естественном языке и анализ данных / Е. И. Большакова, К. В. Воронцов, Н. Э. Ефремова и др. - Изд-во НИУ ВШЭ Москва, 2017. - 269 с.
3. Автоматическая обработка текстов на естественном языке и компьютерная лингвистика : учеб. пособие / Большакова Е.И., Клышинский
Э.С., Ландэ Д.В.,Носков А.А., Пескова О.В., Ягунова Е.В. — М.: МИЭМ, 2011. - 272 с.
4. Английский язык. 5 класс : учеб. для общеобразоват. учреждений / [Ю.Е. Ваулина, В. Эванс, Дж. Дули, О.Е. Подоляко]. - 4-е изд - М.: Express Publishing : Просвещение, 2010. - 164 с.
5. Английский язык. 6 класс : учеб. для общеобразоват. учреждений / [Ю.Е. Ваулина, В. Эванс, Дж. Дули, О.Е. Подоляко]. - 2-е изд - М.: Express Publishing : Просвещение.2008. - 136 с.
6. Аношин, П.И. Автоматический анализ текстов. Синтаксический и семантический анализ / П.И. Аношин // Евразийский научный журнал №6. -
2017. - с.15
7. Валгина Н.С. Теория текста. Москва, Логос. 2003. - 173 с.
8. Васильев В. Г., Кривенко М. П. Методы автоматизированной обработки текстов. - М.: ИПИ РАН, 2008. - 254 с.
9. Виноград Т. Программа, понимающая естественный язык. - М.: Мир, 1976. - 372 с.
10. Вычегжанин С. В. Анализ тональности текстов на основе ДСМ- метода. - Киров. - 2013. - С.16
11. Глушань В.М. Компьютерный анализ сложности текстов учебнометодических разработок как средство повышения качества обучения / В.М. Глушань // Вестник Таганрогского института имени А.П. Чехова. 2016. - С. 71-76
12. Губарева О. Н. Сопоставительный анализ способов метадискурсивной организации англоязычных и русскоязычных научно - учебных текстов по экономике: автореф. дисс. ... канд. филол. наук. М., -
2011. - C.24
13. Ермаков А.Е., Киселев С.Л. Лингвистическая модель для компьютерного анализа тональности публикаций СМИ //Компьютерная лингвистика и интеллектуальные технологии. - М.: Наука, - 2005. - С. 282-285
14. Иванов, К.В. Автоматизация оценки благозвучия текстов / К.В. Иванов // Материалы шестнадцатого научно-практического семинара «Новые информационные технологии в автоматизированных системах» / под ред. С.Р. Тумковского. - М.: МИЭМ НИУ ВШЭ, 2013. - С. 253 - 254
15. Исследование словарного подхода и методов машинного
обучения для анализа тональности / П.Д. Блинов, М.В. Клековкина, Е.В. Котельников [и др.] // Компьютерная лингвистика и интеллектуальные технологии: по материалам ежегодной международной конференции
«Диалог». - № 12. 2013. - С. 51-61
16. Касевич В.Б. Элементы общей лингвистики. М.: Наука, 1977. -183 с.
17. Кисельников А.С. Экзаменационный текст: сущность, специфика, фукнции (на материале русского и английского языков): дис...канд.фил.наук / А.С. Кисельников. - Казань, 2017. - 243 с.
18. Клековкина М. В., Котельников Е.В. Метод автоматической классификации текстов по тональности, основанный на словаре эмоциональной лексики (рус.) // Переславль-Залесский, Россия: конференция,
2012. - С. 81-86
19. Кобозева И.М. Лингвистическая семантика. - М.: Эдиториал УРСС, 2000. - 352 с.
20. Колесникова, И. Л. Англо-русский терминологический справочник по методике преподавания иностранных языков: справочное пособие / И. Л. Колесникова, О. А. Долгина — М.: Дрофа, 2008. - 431 с.
21. Котельников Е. В. Распознавание эмоциональной составляющей в текстах: проблемы и подходы / Е. В. Котельников, М. В. Клековкина, Т. А. Пескишева, О. А. Пестов; под. ред. С. М. Окулова. - Киров: Изд-во ВятГГУ,
2012. - С. 103
22. Котельников E.B., Клековкина M.B. Автоматический анализ тональности текстов на основе методов машинного обучения // Компьютерная лингвистика и интеллектуальные технологии: по материалам ежегодной международной конференции «Диалог». - № 11(18). 2012. - С. 2736
23. Криони Н.К., Никин А.Д., Филиппова А.В. Автоматизированная система анализа сложности учебных текстов / Н.К. Криони, А.Д. Никин, А.В. Филиппова // Вестник УГАТУ. - Управление, ВТиИ. - 2008. - Т.11, №1 (28). - С. 101-107
24. Леонтьева Н. Н. Автоматическое понимание текстов: Системы, модели, ресурсы: Учебное пособие/ Н.Н. Леонтьева. -М.: ИЦ “Академия”, 2006. - 304 с.
25. Лингвистический энциклопедический словарь /Под ред. В. Н. Ярцевой, - М.: Советская энциклопедия, 1990. - 685 с.
26. Лукашевич H.B., Четверкин И.И. Извлечение и использование оценочных слов в задаче классификации отзывов на три класса // Вычислительные методы и программирование. 2011. - С. 73-81
27. Лукашкина Ю.Н. Структурные и статистические методы анализа эмоциональной окраски текста/ Ю.Н.Лукашкина. - URL: https : //goo. gl/rF t2Zf. (Дата обращения: 15.04.2019)
28. Мацковский, М. С. Проблемы читабельности печатного материала [Текст] / М. С. Мацковский // Смысловое восприятие речевого сообщения в условиях массовой коммуникации ; отв. ред. Т. М. Дридзе, А. А. Леонтьев. - М. : Наука, 1976. - С. 126-142
29. Мельчук И.А. Опыт теории лингвистических моделей «СМЫСЛ ^ ТЕКСТ». — М.: Наука, 1999. - С. 197
30. Меньшиков И. Л., Кудрявцев А. Г. Обзор систем анализа тональности текста на русском языке // Молодой ученый. — 2012. — №12. — С. 140-143.
31. Микк, Я.А. Методика разработки формул читабельности / Я.А. Микк. - М.: Советская педагогика и школа IX. - Изд-во Тарту, 1974. - С. 273
32. Мизернов И.Ю., Гращенко Л.А. Анализ методов оценки сложности текста / И.Ю. Мизернов, Л.А. Гращенко // Новые информационные технологии в автоматизированных системах. - 2015. - С. 572-581
33. Николаев И. С. Прикладная и компьютерная лингвистика / И. С. Николаев, О. В. Митренина, под ред. Т. М. Ландо - 2-е изд. - М.: Ленанд,
2016. - 316 с.
34. Оборнева И.В. Автоматизированная оценка сложности учебных текстов на основе статичстических данных дис. ...канд.пед.наук / И.В. Обориев. - Москва. - 2006. - С. 165
35. Пазельская А. Г., Соловьев А. Н. Метод определения эмоций в
текстах на русском языке //Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции
«Диалог». - М.: Изд-во РГГУ, 2011. - С. 17
36. Поляков П.Ю., Калинина М.В., Плешко В.В. Исследование применимости методов тематической классификации в задаче классификации отзывов о книгах // Компьютерная лингвистика и интеллектуальные технологии: по материалам ежегодной международной конференции «Диалог». - № 11. 2012. - С. 51-59
37. Романов А.С. Идентификация автора текста с помощью аппарата опорных векторов / А.С. Романов, Р.В. Мещеряков // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог 2009». - М.: РГГУ, 2009. - С. 432-437
38. Рубцова Ю. Автоматическое построение и анализ корпуса коротких текстов (постов микроблогов) для задачи разработки и тренировки тонового классификатора // Инженерия знаний и технологии семантического веба: В 5 т. Т. 1. 2012. - С. 109-116
39. Селегей В.П. Компьютерная лингвистика и интеллектальные
технологии: По материалам ежегодной международной конференции
“Диалог”: В 2 т. Т. 1.М.: Изд-во РГГУ, - 2013. - 148-162 с.
40. Советский энциклопедический словарь / научно-редакционный совет: А. М. Прохоров (пред.) и др. М.: Советская энциклопедия, - 1981. - С. 1600
41. Солнышкина М.И., Кисельников А.С. Параметры сложности экзаменационных текстов / М.И. Солнышкина, А.С. Кисельников // Вестник Волгоградского государственного университета. Серия 2: Языкознание. - №1 (25) - 2015. - С. 99-107
42. Солнышкина С. И., Кисельников А. С. Сложность текста: этапы изучения в отечественном прикладном языкознании / С. И. Солнышкина, А. С. Кисельников // Вестник ТГУ. Филология. - №6 (38). - 2015. - с.86-100
43. Стригулин К. А., Журавлева Л. В. Анализ тональности высказываний в Twitter // Молодой ученый. — 2016. — №12. — С. 185-189
44. Сунгатуллина Д.Д. Специфика экзаменационного текста: вторичность, функции, сложность (на материале русского и английского языков): дис...канд.фил.наук / Д.Д. Сунгатуллина. - Казань, 2018. - 28 с.
45. Толковый словарь иноязычных слов [Текст] / Л. П. Крысин. - М. : Эксмо, 2008. - 944 с.
46. Четверкин И.И., Лукашевич Н.В. Автоматическое извлечение оценочных слов для конкретной предметной области // Компьютерная лингвистика и интеллектуальные технологии: по материалам ежегодной международной конференции «Диалог». - 2010. - С. 565-571
47. Филиппова, А. В. Управление качеством учебных материалов на основе анализа трудности понимания учебных текстов [Текст] : автореф. дисс. ... канд. техн. наук : 05.13.10 / Филиппова Анастасия Владимировна. - Уфа, 2010. - 20 с.
48. Шувалова, С. А. Смысловые отношения в сложном предложении и способы их выражения [Текст] / С. А. Шувалова. - М.: Изд-во МГУ, 1990. - 160 с.
49. Юсупова Нафиса Исламовна, Богданова Диана Радиковна, Бойко Максим Викторович Алгоритмическое и программное обеспечение для анализа тональности текстовых сообщений с использованием машинного обучения // Вестник УГАТУ = Vestnik UGATU. 2012. №6 (51). URL: https://cyberleninka.ru/article/n/algoritmicheskoe-i-programmnoe-obespechenie- dlya-analiza-tonalnosti-tekstovyh-soobscheniy-s-ispolzovaniem-mashinnogo- obucheniya (дата обращения: 12.06.2019).
50. Яцко В.А. Алгоритмы и программы автоматической обработки текста / В.А. Яцко // Вестник Иркутского государственного лингвистического университета. - 2012.- С. 150-161
51. Bing Liu. Sentiment Analysis and Subjectivity // Handbook of Natural Language Processing / под ред. N. Indurkhya и F. J. Damerau. — 2010. - p.367
52. Chapman & Hall/CRC, 2010. - 702 p.
53. Dahl, O. Grammatical resources and linguistic complexity. Siriono as a language without NP coordination / O. Dahl // Language complexity: typology, contact, change. - Amsterdam. - 2008. - 402 p.
54. Entin, E.B. Relationships of measures of interest, prior knowledge, and readability to comprehension of expository passages / E.B. Entin, G.R. Klare // Advancers in reading/language research. - 1985. - No. 3. - P. 9 - 38.
55. Fass, W. Effects of motivation, subject activity, and readability on the retention of prose materials / W. Fass, G.M.Schumacher // Journal of educational psychology. - 1978. - No. 70. - P. 803 - 808.
56. Graesser,A.C., McNamara,D.S.,& Louwerse,M.M What do readers need to learn in order to process coherence relations in narrative and expository text. In A.P. Sweet and C.E. Snow (Eds.), Rethinking reading comprehension: New York: Guilford Publications, 2003. - pp. 82-98
57. Hyland K. Metadiscourse. Cornwall: MPG Books, Ltd., 2005. - 230 p.
58. Kincaid, J. P. Derivation of new readability formulas (Automated Readability Index, Fog Count and Flesch Reading Ease Formula) for navy enlisted personnel [Text] / J. P. Kincaid, R. P. Fishburne, R. L.Rogers, B. S. Chissom // Naval technical training command. - Memphis, TN : Naval Air Station, 1975. - 40
p.
59. Liu B. Sentiment Analysis and Opinion Mining. Morgan & Claypool Publishers, 2012. - p.143
60. Miestamo, M. Grammatical complexity in a cross-linguistic perspective / M. Miestamo, K.Sinnemaki, F. Karlsson // Language complexity : Typology, Contact, Change. - Amsterdam: John Benjamins, 2008. - pp. 23-42
61. Pang B., Lee L., Vaithyanathan S. Thumbs up? Sentiment classification using machine learning techniques. Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP). 2002. Pp. 79-86
62. Woern, Y. On the relationship between knowledge of the world and comprehension of texts, assimilation and accommodation effects related to belief structures / Y.Woern. // Scandinavian journal of psychology. - 1977. - No. 18. - P.130 - 139.
Дополнительные ссылки
1. Text Inspector (Режим доступа: https://textinspector.com/);
2. WebFX (Режим доступа: https://www.webfx.com/)
3. Free Online OCR Service(Режим доступа: https://www.onlineocr.net/
4. Perrymarshal (Режим доступа: https: //www.perrymarshal .com/)
5 .Readabilityformulas
(Режим доступа: http://www.readabilitvformulas.com/)


Работу высылаем на протяжении 30 минут после оплаты.



Подобные работы


©2024 Cервис помощи студентам в выполнении работ