Аннотация
ВВЕДЕНИЕ 3
1 Основные понятия детерминационного анализа 14
2 Базовые задачи 21
3 Практическая постановка задачи 24
4 Математическая постановка задачи и программная реализация 31
5 Выявление закономерностей на основе детерминации 36
ЗАКЛЮЧЕНИЕ 46
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 47
ПРИЛОЖЕНИЕ A Код программы в RStudio 49
Детерминационный анализ (теория правил) - это, с одной стороны, математическая теория детерминаций, а с другой - практический метод анализа правил, который позволяет искать и анализировать правила, обрабатывая данные опыта. Идея детерминационного анализа состоит в том, чтобы изучить математические свойства правил, сведения о которых люди черпают из опыта. Теория таких правил плюс методы анализа - это и есть детерминационный анализ.
Термин «детерминация» происходит от латинского determinatio - определение, ограничение. Если верить Большой советской энциклопедии, он был введен в научный обиход в начале XX века немецким ученым Г айдером, который применил его для описания того, как свойства эмбриона определяют, детерминируют свойства развивающегося взрослого организма. Как математический объект детерминация была введена в практику обработки и анализа данных в 1972 году Сергеем Чесноковым сначала под именем «квазифункционального соответствия», а затем, с 1975 года, под именем детерминации.
Задача «найти правила, которые объясняют то-то и то-то» одна из самых распространенных и самых полезных для практики. Правила объясняют, дают возможность прогнозировать, помогают связывать разные стороны жизни в единое целое. Связи между тем, что нужно объяснить, и тем, что позволяет построить объяснение, нередко довольно запутаны. Одни признаки, обстоятельства, события объясняют (определяют) наличие других, действуя на фоне третьих. Способ выразить такие связи знаком каждому - это правила. Их бывает очень непросто отыскать, но это другой вопрос. Нет ни одной стороны жизни, ни одной области человеческой деятельности, где не применялись бы правила. Вот лишь некоторые примеры.
Правила в социологии и экономике. Что будут делать люди в определенных обстоятельствах, предсказать часто трудно или невозможно. Но в некоторых случаях социальное поведение (вербальное или актуальное) поддается прогнозу. Такие объяснения всегда имеют вид правил, связывающих поведение с мотивами, ориентациями, отличительными признаками социальных групп, обстоятельствами жизни.
Правила финансового рынка. Какая-то доля рынка непредсказуема, но некоторые события на нем можно уверенно предсказывать. Делается это с помощью правил, описывающих поведение рынка. Если сегодня случилось то- то, а вчера - то-то, то завтра следует ожидать падения курса таких-то ценных бумаг или такой-то валюты. Подобные правила описывают «предсказуемую» часть финансового рынка в режиме краткосрочного прогнозирования. В режиме долгосрочного прогнозирования также действуют свои правила.
Правила в медицине. Надежные врачебные правила позволяют врачу достигать успеха в лечении больных и избегать ошибок. С помощью диагностических правил узнают, что с пациентом, чем он болен, что нужно лечить. Правила в медицине - это прежде всего диагностика. Но не только. Как лечить, что ведет к выздоровлению, насколько результат лечения предопределен, - знания этого рода тоже выражаются правилами. Правила помогают выбирать лекарства, определять показания противопоказания в их применении, ориентироваться в лечебных процедурах, создавать условия, при которых лечение наиболее эффективно, предсказывать варианты возможных исходов.
Правила в лингвистике. Любой осмысленный текст скрыто содержит правила, по которым одни буквы появляются (или не появляются) в окружении других букв. При иероглифическом письме ситуация сложнее, она более «многомерная» но принцип тот же. Язык вообще немыслим без правил. Умение читать - это правила, связывающие буквы и сочетания букв со звуками. Письмо - это «обратные» правила, они другие, чем правила, определяющие чтение, более сложные. Умение выразить нечто средствами языка предполагает знание связей между именами образов и образами, между означающими и означаемыми. Такие связи тоже описываются правилами.
Правила в молекулярной инженерии. При конструировании молекул с заданными свойствами специалисты используют правила, которые позволяют установить, какие последовательности аминокислот разрешены, а какие запрещены. Связи между «текстами аминокислот», представляющими молекулу и ее свойствами также выражаются определенными правилами.
Правила в языке животных. Последовательности сигналов, испускаемых дельфинами, имеют свою «орфографию». Это текст, в котором появление одних сигналов в соседстве других подчиняется определенным правилам. Связи между сигналами и обстоятельствами, которые послужили стимулом для их появления, также описываются определенными правилами. Это объясняет, почему одно из самых многообещающих применений Детерминационного Анализа связано с языком дельфинов и языками других животных.
Правила в политике. Приведем пример того, как это обстоятельство приводит к неправильной интерпретации исследователем имеющихся в его распоряжении данных. После выборов в Г осударственную думу, прошедших в декабре 1995 г., во многих средствах массовой информации обыгрывался тот факт, что среди голосовавших за КПРФ была относительно мала доля людей с высшим образованием. Действительно, она была меньше, чем аналогичная доля среди голосовавших, скажем, за «Яблоко» или НДР. Естественно, из этого обстоятельства делался вывод, что образованные люди не голосуют за компартию. Но, вспоминая наши показатели, можно сказать, что, делая этот вывод, журналисты опирались только на сравнение величин емкостей детерминаций (высшее образование) ^ (голосование за КПРФ), (высшее образование) ^ (голосование за «Яблоко»), (высшее образование) ^ (голосование за НДР), т. е. на величины долей людей с высшим образованием среди голосовавших за разные партии. Обратимся к анализу интенсивностей тех же детерминаций. Оказывается, что за компартию в декабре проголосовало 1,54 млн избирателей с высшим образованием, за «Яблоко» - 1,43 млн, за НДР - 1,3 млн («Советская Россия», 21 марта 1996 г.). Другими словами, среди лиц с высшим образованием доля проголосовавших за КПРФ (т. е. емкость первой детерминации), больше, чем доля проголосовавших за «Яблоко» и НДР (т. е. емкости второй и третьей детерминации). Так за кого голосуют люди с высшим образованием? Предыдущий вывод вряд ли справедлив. Вычисление интенсивности и емкости изучаемых детерминаций — основной элемент детерминационного анализа. При всей своей простоте этот подход заключает в себе глубокий смысл, поскольку требование обязательного вычисления названных показателей является своеобразной защитой от недосмотра социологов.
Приведем пример, где объясняемое положение - голосование за кандидата N. Допустим, что 40 % мужчин проголосовали за N. Это значит, что точность правила «если мужчина, то голосует за N» равна 0,4. Если мы рассмотрим мужчин с высшим образованием, точность детерминации может повыситься (а может, конечно, и не повыситься или даже понизиться). Так, например, может оказаться, что за N проголосовали 80 % мужчин с высшим образованием. Это будет означать, что, взяв конъюнкцию значения признака «пол», означающего мужчину, и значения признака «образование», отвечающего высшему образованию, мы повысили точность детерминации по сравнению с тем случаем, когда не учитывали образование респондента. Аналогичные рассуждения справедливы для полноты детерминации: ее тоже можно повышать с помощью удачного подбора объясняющих признаков.
Правила - это основа знаний. Диагностика заболеваний и эффективность медицинских препаратов, поведение людей и животных, связи между словами и их смыслом, научные законы и явления неживой природы, все это - правила, правила, правила....
Пример1. Точное, но неполное правило
Люди смертны (A = "человек", B = "смертен")
Известно, что все люди смертны. Это значит, что правило "Люди смертны" предельно точное (точность равна единице), оно не имеет исключений. Среди смертных существ, однако, люди составляют лишь весьма скромную долю. Это значит, что полнота правила "Люди смертны" заведомо невелика.
Пример 2. Неточное, но полное правило
Курильщик рано или поздно заболевает раком легких
(A = "Курильщик", B = "рано или поздно заболевает раком легких.").
Доля заболевающих раком легких среди курильщиков составляет около 6%. Это значит, что точность правила "Курильщик рано или поздно заболевает раком легких" равна примерно 0.06. В то же время доля курильщиков среди болеющих раком легких составляет 95%. Это значит, что правило "Курильщик рано или поздно заболевает раком легких" обладает очень высокой полнотой, его полнота равна 0.95. Часто реклама против курения, использующая такого рода правила, делает упор на их полноту, тогда как курильщики ориентируются на точность, которая очень мала, и продолжают курить, не видя в этом большой угрозы для себя.
Пример 3. Правило точное и полное
В прямоугольном треугольнике из трех углов имеется два, сумма которых составляет прямой угол (A = "прямоугольный треугольник", B = "в треугольнике из трех углов имеется два, сумма которых составляет прямой угол)".
В мире не слишком больших масштабов, где справедлива геометрия Евклида, это правило имеет точность, равную единице (среди прямоугольных треугольников все обладают свойством B). Полнота правила также равна единице (среди треугольников, которые обладают свойством B, все прямоугольные).
Математик сказал бы, что это правило есть пример простейшей теоремы, определяющей связь между двумя свойствами A, B, которыми могут обладать треугольники в геометрии Евклида. Наличие одного из них есть необходимое
Если у человека родинка на щеке, то он альбинос (A = "человек имеет родинку на щеке", B = "альбинос").
и достаточное условие для наличия другого. Этот пример показывает, что в математике точность правила "Если A, то B" рассматривается как мера достаточности A для B, а полнота правила "Если A, то B" - как мера необходимости A для B.
Пример 4. Правило неточное и неполное
Среди людей, у которых родинка на щеке, доля альбиносов заведомо невелика. Среди альбиносов также, по всей видимости, не так много имеют родинку на щеке. Это означает, что и точность, и полнота такого правила будут значительно меньше единицы.
Детерминационный анализ - это метод анализа правил, который позволяет искать и анализировать правила, обрабатывая данные опыта.
В детерминационном анализе детерминация подразумевается, как объяснение одного явления посредством другого.
Основные задачи ДА - это получение более точных и более полных условных объяснений того или иного явления
Детерминационный анализ был введен немецким ученым в области биологии Гайдером. Однако только в 1972 году детерминация была введена в математике Сергеем Чесноковым под названием «квазифункциональное соответствие», а после под именем детерминация [12]
Рассказ Сергея Чеснокова о ДА-системе журналу "Рынок Ценных Бумаг" (1998 г.)
Правило - это условное суждение вида “Если имеется нечто одно, то имеется и нечто другое”. В одних случаях правила используют для прогноза: “Если произойдет то, произойдет и это”. В других - как рекомендацию: “Сделай так, результатом будет то-то”. Часто правила используют для объяснения: “Это произошло потому, что случилось вот это”. Но прежде, чем использовать правила, их надо найти. Они скрыты в массивах документов.
ДА-система позволяет их находить, анализируя особыми методами информацию, “закачанную” в неё с бумажных носителей или из баз данных систем документооборота. Например, крупная оптовая фирма обслуживает тысячи клиентов и теряет на неоплате счетов. ДА-система помогла найти “критический день” - пятницу - и позволила установить правило: если в пятницу выписан счет на общую сумму от 12,74 до 15 тысяч рублей, стопроцентная гарантия, что счет будет сильно задержан с оплатой. После того, как границы были вычислены, к оформлению сделок по счетам, попадающим в критический диапазон, стали относиться более внимательно и это дало выигрыш.
Пользователи пакета в России - это маркетинговые и аналитические подразделения предприятий госсектора, частных фирм, банков, аналитические службы муниципалитетов и мэрий, медицинские клиники, госпитали, исследовательские центры, академии, социальные службы, социологические, политологические фирмы. Активно работают с ДА-системой имиджмейкеры и специалисты по предвыборным технологиям. В ходе предвыборных кампаний разного уровня, когда повышены требования к оперативности, пакет позволяет быстро вводить в компьютер анкеты с результатами предвыборных опросов населения, анализировать их и получать рекомендации для корректировки хода предвыборной кампании....
1. Была исследована динамика структуры связи между признаками и личностными предпочтениями респондентов;
2. Были найдены решения основного уравнения детерминационного анализа: интенсивность и емкость;
3. Была установлена существенность всех рассматриваемых признаков;
4. Все вышеописанные процессы были автоматизированы в интегрированной среде разработки для R, языка программирования для статистических вычислений и графики;
5. Поставленные задачи успешно выполнены и отображены в таблицах сопряженности;
1. Dmitriev Yu.G., Martynova S.E., Tarasenko P.F., Ustinov lu.K. Application of Determinacy Analysis to the Study of Citizen Satisfaction with the Service-Based Public Management //Mediterranean Journal of Social Sciences. 2015. Vol. 6, № 6 S2. P. 444-452.
2. Reddin International [Электронный ресурс]: сайт «Management Education and Management Training». - Режим доступа: http://www. wjreddin.co.uk (дата обращения 30.08.2020)
3. Reddin Trainingen [Электронный ресурс]: сайт «Learning programma verhoogt de Reddin Methode de management effectivities». - Режим доступа: http://www.reddin.nl (дата обращения 30.08.2020).
4. Reddin W.J. Tests for the output oriented manager/ - UK: Kogan-Page. 1990 - 301p.
5. Yury G. Dmitriev, Peter F. Tarassenko, Yuri K. Ustinov. Determinacy Analysis of Weights as Mathematical Basis Of the Future Sociology //ACSR. 2017. Vol. 72. P. 238-243
6. Берестнева О.Г. Конструирование диагностических решений в слабоструктурированных проблемных областях / О.Г.Берестнева, Е.А.Муратова., А.М.Уразаев, Н.Л.Еремина Вестник Томского государственного педагогического университета, № 6 (43). - Томск: 2004 - С. 81-84.
7. Дмитриев Ю.Г., Еремина Н.Л., Тарасенко В.Ф., Детерминационный анализ опросов по тестам Реддина
8. Еремина Н.Л. Подходы к оценке и управлению конкурентоспособностью студентов университетов / Еремина Н.Л., Краковецкая И.В., Лопухин Я.Н. Обозрение прикладной и промышленной математики. 2019. Т. 26. № 2 - Томск: 2019 -. С. 160-161.
9. Мартынова С.Э., Дмитриев Ю.Г., Устинов Ю.К. Интерпретация количественной оценки удовлетворенности граждан муниципальными публичными услугами на основе детерминационного анализа //Инновационная наука. 2016. Т. 6, № 3. С. 252-257.
10. Тарасенко В.Ф., Моделирование систем менеджмента. Томск: Изд-во Томск. гос. ун-та систем управления и радиоэлектроники, 2018. - 172 с.
11. Тарасенко Ф.П., Прикладной системный анализ: учебное пособие КНОРУС, 2010. - 224 с
12. Чесноков С.В., Детерминационный анализ социально-экономических данных - М.: Наука. Главная редакция физико-математической литературы, 1982 - 168 с.
13. Чесноков, С. В. Детерминационный анализ социально-экономических данных / С. В. Чесноков. - 2-е изд., испр. и доп. - М.: ЛИБРОКОМ, 2009. - 168 с.