ВВЕДЕНИЕ 3
ГЛАВА 1. ПОЛЕ ПОНЯТИЙ И ОСНОВНЫЕ МЕТОДЫ ОЦЕНИВАНИЯ 7
1.1 Социокультурный контекст парадигмы program / policy evaluation 7
1.2 Политический анализ, оценивание, экспертиза 12
1.3 Объект и предмет оценивания в политике 22
1.4 Основные теоретические подходы и модели оценивания 29
1.5 Виды оценки и этапы оценивания 35
ГЛАВА 2. АНАЛИЗ ОЦЕНКИ ВНУТРЕННЕЙ ПОЛИТИКИ РОССИИ 46
2.1. Экономические критерии оценивания политики 46
2.2. Оценка экономической политики 56
2.3. Оценка региональной политики 65
2.4. Оценка социальной политики России 69
2.5. Меры совершенствования внутренней политики России 80
ЗАКЛЮЧЕНИЕ 93
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 98
Актуальность темы исследования в области политического оценивания определяется современным положением России, включившуюся в международное разделение труда и политико-правовое поле мирового сообщества. Кроме того, опросы общественного мнения отражают возрастающий уровень признания российским социумом важности качества бюрократии для решения общих проблем. При этом в зависимости от содержания проблемы под качеством государственного управления понимается различный диапазон характеристик государства и его институтов.
Новый виток реформ в России ориентирован на включение мировых норм политического анализа в законодательную базу и практику страны. По многим направлениям достигнуты значительные успехи, в особенности передовым является экономический блок правительства и финансовых институтов государства (прежде всего Центральный банк). Набор инструментов реформ в России неполон: в него не был включен такой неотъемлемый институт, как оценивание политик и программ. Несомненным является утверждение о том, что для общественного прогресса переход к полному циклу оценивания государственной деятельности необходим и обязателен. Причем, совершить его надо в самое ближайшее будущее на всех уровнях власти, во всех сферах социальной жизни как профессии, как бизнеса, как образовательного и научного направления .
На сегодняшний день, можно уже оценить результаты реформирования, как в области нормативно-правового регулирования политического оценивания, так и аспекты правоприменительной деятельности в русле функционирования конкретных органов власти как федерального, так и регионального уровня, эффективности их деятельности. Политическое оценивание носит многоаспектный характер, затрагивающий как социальную, экономическую так и культурную политику. При этом стоит выделять два уровня политического оценивания: макро и микроуровень. макроуровень – это деятельность федеральных органов власти, а также государственных органов субъектов РФ. На микроуровне, стоит говорить об оценивании политики конкретной территории (муниципальный уровень).
Несмотря на определенные результаты в деле политического оценивания, сохраняется еще ряд проблем, касающихся вопросов прозрачности деятельности, критериев эффективности в области оценивания.
Объект данной работы — общественные отношения, складывающиеся в области социально-экономической политики России.
Предмет — теоретико-методологические подходы к оцениванию политики в современной России.
Целью выпускной квалификационной работы явилась разработка мер совершенствования в области оценивания политики на основе всестороннего изучение теоретических основы и практической реализации оценивания, а также выявления основных проблем.
Основными задачами работы явились следующие:
1) исследовать основные понятия в области оценивания и кластеры проблем;
2) определить основные методы оценивания;
3) выявить особенности проведения оценивания;
4) проанализировать внутреннюю политику России на основе методов оценивания.
В соответствии с поставленной целью и задачами была выбрана структура исследования. Основной материал был расположен в двух главах с разбивкой каждой на проблемно-ориентированные параграфы.
В рамках первой главы предполагается очертить поле понятий и кластеры проблем, связанных с концептом политического анализа и его структурным неотъемлемым элементом — оцениванием.
Кроме того, будет предпринят подробный обзор основных методов оценивания в политике. В частности, будет раскрыта проблема того, что может являться предметом и объектом оценивания в политике, каким образом и с помощью каких процедур происходит сбор информации для предоставления оценки; все это позволит выйти на проблему формирования моделей оценивания и связанных с ними теоретических подходах.
Вторая глава является практической и основана на анализе эмпирических данных как федерального, так и регионального уровня. Во второй главе работы проводится экономический и социокультурный анализ политики России на современном этапе развития.
Теоретической основой настоящей работы послужил курс, читаемый с первой половины 2000-х гг., «Анализ и оценивание государственных программ и отраслевых политик», разработанный коллективом авторов под руководством Д. Б. Цыганкова. Он является пионером направления политического оценивания в России как отдельной профессиональной, образовательной и научной сферы. Под влиянием курса сложились основные концептуальные представления об оценивании в политике.
Методологической основой работы стали анализ, классификация и сравнение. Институциональный метод применен для изучения правовых документов. Также в работе использовано изучение и обобщение отечественной и зарубежной литературы.
Таким образом, основы школы политического анализа, сложившейся в ВШЭ, послужили направляющими идеями для ориентирования в современной специальной литературе последнего шестилетия, посвященной проблеме program / policy evaluation. Среди ключевых исследований, определивших содержание и выводы работы, стали работы K. E. Newcomer, H. P. Hatry, J. S. Wholey, J. S. Wholey Fitzpatrick, J. L. Donald, B. Yarbrough, L. Langbein, H. T. ChenChen, D. B. Yarbrough, D. T. Spaulding, S. J. Spiel, N. S. Vonortas Mertens, D. M. Wilson, A. T. Spaulding, D. T. Abbott, M. L. Langbein, L. I. Kapp, S. A. Mertens и др. Доступ к полнотекстовым электронным вариантам книг был осуществлен через каталог Melvyl — составной части University of California Libraries (из сети ГПНТБ) .
В результате проведенного исследования удалось всестороннее рассмотреть оценивание как одно из важных приложений политической деятельности и как категории в современной теории политического анализа.
Во-первых, опираясь на ключевые разработки научной школы политического анализа под руководством Д. Б. Цыганкова, современные исследования, посвященные теме program / policy evaluation, мы представили категорию оценивания в политике в контексте поля проблем политического анализа и стадиально-циклической концепции. Было показано, что принятие решений и политическое управление является сферой деятельности, которая зарождается вместе с появлением в обществе сначала потестарных структур, а затем и государства. Философско-политологическая рефлексия по поводу принятия политических решений, связанной с ним оценкой и ответственностью за них относится ко временам классической европейской античности. Как ни странно, но ни Новое время с расцветом практик абсолютизма в государственном управлении, ни индустриальная эпоха с почти повсеместным переходом на республиканскую форму правления не породили мысли об оценке действий по управлению обществом. Лишь с началом постиндустриального этапа в истории развития человечества поменялись некоторые ориентиры в восприятии основных проблем политического управления. К середине XX в. появляется идея оценивать деятельность государственных органов. Ряд объективных социально-экономических факторов привел к укреплению и распространению идей оценивания в политике. Это связано с расширением сферы влияния послевоенных государств в жизни общества, переходом к модели социального государства, распространению идеи планирования и научной организации общества на заре постиндустриальной эпохи.
В ходе исследования основных понятий и поля проблем политического анализа нами было зафиксировано, что оценивание в политике находится в одном ряду понятий с политическим анализом и экспертизой. Ключевым связующим звеном здесь является экспертное знание (expert knowledge). Под ним подразумевается набор навыков, умений и представлений о предмете исследования. В ходе исследования было также обосновано, что оценивание в политике не находится в вакууме. Оно встроено в сложную многокомпонентную систему политического управления и принятию политических и государственных решений (policy cycle). Оценивание в идеальном варианте политического управления должно быть одной из его заключительных стадий; оно выступает содержанием обратной связи на этапе управленческого решения.
Во-вторых, в результате ряда исследовательских процедур в работе были выявлены основные методы оценивания в политике с выходом на проблему выстраивания моделей политического оценивания, в том числе модели оценки регулирующего воздействия. В частности, к объекту оценивания в политике была отнесена государственная власть и представляющие ее институты, органы и отдельные индивиды, а к предмету — всесторонний анализ ее деятельности. Исходя из объекта и предмета, цели и задач оценивания, было показано, что основными методами сбора информации является выборка, изучение документации, анкетирование, интервью и наблюдение.
Развернутую характеристику получили основные теоретические подходы и модели оценивания. Было доказано, что главным методом оценочного исследования остается принцип обратной связи. К другому важному методу оценочного исследования относится совещания. Как частный случай совещания используется мозговой штурм. К одному из самых распространенных методов как в России, так и за рубежом стоит отнести очные и заочные методики экспертных решений. Оригинальным и весьма эффективным, особенно для малых коллективов, является метод паттерна. К современным методам, распространенным не только в политологической, но и в других отраслях гуманитарных наук, можно отнести метод Дельфи. Также основным и обязательным для применения для оценки государственных органов из любой сферы деятельности является метод отбора экспертов. Также был сделан вывод, что проведение экспертизы является одним из первых методов, оформившихся в ходе первоначального становления политической оценки как особого рода деятельности. На основе методов были разработаны методики исследования в рамках оценивания в политике: экспериментальная, квази-экспериментальная, количественная, методика случаев (case study) и смешанный вид методик.
Кроме того, было определено, что весь комплекс методов и основанных на них методик позволяет сформировать рабочие модели оценивания: это модели прогнозирующие и оценивающие (еx-post), модель, основанная на «свободном» от цели (goal-free evaluation) оценивании, суммирующие модели, планирующие (ex-ante) модели, модели с оцениванием, ориентированным на практическое использование (utilize-focused evaluation).
Одной из ведущих моделей оптимизации государственного управления является оценка регулирующего воздействия (ОРВ). Под ней понимается механизм систематического выявления основных целей и проблем, а также предлагаемых норм регулирования, выявления и оценки основных альтернатив достижения целей в процессе акцептирования управленческих решений.
В-третьих, в рамках исследования были определены основные теоретические и практические вопросы проведения оценивания как процесса. Оценка была рассмотрена как многослойный процесс, отражающий рефлексию по поводу деятельности со стороны действующего субъекта, вовлеченных в его деятельность лиц, а также внешнего наблюдателя. В результате такого понимания стало возможным выделение видов оценки: внешняя, внутренняя и самооценка. Каждый из видов оценки может быть подразделен на этапы оценивания (policy making): восприятие необходимости проведения оценки; постановка задачи; дизайн оценки; сбор данных, анализ данных; документирование результатов оценки — подготовка отчета; обратная связь по результатам оценки; принятие решения — практическое использование результатов оценки.
В ходе исследования было особо подчеркнуто несколько ключевых моментов, связанных с основными принципами анализа данных — универсальный аналитический цикл, определяющийся четырьмя этапами: предоставлением фактов, использованием интерпретаций, приведением выводов и обоснованием рекомендаций. Было показано, что на стыке взаимодействия участников оценки: ее субъектов, объектов, заказчиков, представителей общественности и иных заинтересованных сил (в том числе представителей международного сообщества) — исторически была сформирована этика взаимодействия участников оценки. Отличительной ее чертой стали партнерские взаимоотношения всех участников процесса и выстраивание многокомпонентной обратной связи при ведущей роли оценщика.
В-четвертых, конечно, все эти подходы и технологии актуальны для России.
На сегодняшний день сформированы нормативные основы оценивания политики, как на федеральном, так и региональном уровне. Нормативно-правовые основы оценивания политики имеют регулирование как конституционными, так и специальными нормами, закрепленными в федеральном законодательстве. На современном этапе развития выработаны критерии, по которым осуществляется оценивание.
Как показывает экономический анализ оценивания федеральной политики на сегодняшний день, отмечается снижение темпов экономического развития, о чем свидетельствуют макроэкономические показатели развития. В этой связи, стоит отметить, что необходима выработка эффективных мер.
Оценка региональной политики показала, что также отмечается замедление темпов экономического развития. Анализ конкретных федеральных округов показывает, что лидерами экономического развития являются: ДФО, Сибирский ФО и ЦФО.
Анализ социальной политики показывает, что на сегодняшний день, достижение основных показателей социального развития происходит на основе реализации программно-целевого подхода к социальной и социо-культурной политике. Однако по-прежнему сохраняется проблема социального обеспечения инвалидов и престарелых, обеспечения населения досуговыми и иными культурными мероприятиями.
Совершенствование внутренней политики России видится в росте показателей социально-экономического и социо-культурного развития, что должно быть достигнуто в результате эффективности, прежде всего, региональных и местных органов власти. При этом в рамках совершенствования процесса оценивания, необходимо применение балансового метода, который учитывает уровень ВВП во взаимодействии с социально-экономическими процессами.
1) Европейская социальная хартия (пересмотренная) (принята в г. Страсбурге 03 мая 1996 года) // URL: http://www.consultant.ru/document/cons_doc_LAW_120807/
2) Федеральный конституционный закон от 22 декабря 1997 года «О Правительстве РФ» // URL: http://www.szrf.ru/doc.phtml?nb=edition00&issid=1997051000&docid=765
3) Федеральный закон РФ от 7 мая 2013 года № 77-ФЗ «О парламентском контроле» // Российская газета 2013 – 14 мая. URL: https://rg.ru/2013/05/14/kontrol-dok.html
4) Федеральный закон РФ от 2 ноября 1995года № 181-ФЗ «О социальной защите инвалидов в Российской Федерации» (последняя редакция) // URL: http://www.consultant.ru/document/cons_doc_LAW_8559/
5) Федеральный закон РФ от 28 июня 2014 г. № 172-ФЗ «О стратегическом планировании в Российской Федерации» - Российская газета 2014 – 3 июля - № 6418 // URL: https://rg.ru/2014/07/03/strategia-dok.html
6) Указ Президента РФ от 21 августа 2012 года № 1199 (ред. от 28.12.2012) «Об оценке эффективности деятельности органов исполнительной власти субъектов Российской Федерации» // URL: http://pravo.gov.ru/proxy/ips/?docbody=&nd=102158895
7) Указ Президента РФ от 19 декабря 2012 г. № 1666 «О Стратегии государственной национальной политики Российской Федерации на период до 2025 года» // URL: http://base.garant.ru/70284810/
8) Закон РФ от 19 апреля 1991 № 1032-1 (ред. от 01.05.2017) «О занятости населения в Российской Федерации» // http://www.consultant.ru/document/cons_doc_LAW_60/
Книги и периодичные печатные издания
9) Адамс Д. и др., Оценка обучающих программ: Практическое пособие. – М.: «Грошев-Дизайн», 2002.
10) Анализ и оценивание государственных программ и отраслевых политик: ридер к учеб. дисциплине / Цыганков, Д. Б. Смирнова, М. В. Settles, A. М.: ГУ-ВШЭ, 2006. 252 с.
11) Баханькова Е.Р., Бодунген А.Ю., Боровых А.Э., Грешнова Е.В., Гриднева П.В., Казаков О.Б., Кузьмин А.И. Оценка проектов и программ: курс лекций. Школа управления НКО. М.: ЦПНКО, 2003; Кузьмин А.И. Оценка проектов и программ. М., ПРЕСТО-РК, 2005.
12) Беляев А.Н. Цыганков Д.Б. Оценивая эффективность реформы: новые технологии оптимизации государственного управления // Вестник актуальных прогнозов, Москва, ноябрь 2004, № 11, С. 26-29.
13) Властные институты и должности в Европе в Средние века и раннее Новое время / отв. ред. Т.П. Гусарова. М.: КДУ, 2011. С. 372.
14) Глухов В.В. Менеджмент – М.: Питер, 2008.
15) Голодникова А.Е., Цыганков Д.Б. «Таргетирование» оценки регулирующего воздействия: международные подходы и российская практика // Вопросы государственного и муниципального управления. 2015. № 4. С. 7-40.
16) Григорян В.В. Социальное обеспечение прав безработных граждан // Сборники конференций НИЦ Социосфера. 2015. № 26. С. 25-26.
17) Дегтярев А.А. Политический анализ как прикладная дисциплина: предметное поле и направления разработки // Полис, 2004, № 1. С. 154-168.
18) Дегтярев А.А. Принятие политических решений. — М., 2004; Евланов Л. Г. Теория и практика принятия решений. — М., 1984.
19) Дмитриева Е. Фокус группы в маркетинге и социологии. М., Издательство "ЦЕНТР", 1998 г.
20) Знание в социокультурном пространстве / Степин В.С., Гусейнов А.А., Касавин И.Т. М.: Экономическое образование, 2011. С. 17-18.
21) Измерение эффективности и оценивание в государственном управлении: международный опыт: препринт WP8/2005/01 / А. Н. Беляев, Е. С. Кузнецова, М. В. Смирнова, Д. Б. Цыганков. М.: Изд. дом ГУ ВШЭ, 2005. С. 5-7.
22) Кириллова В.А. Организационные формы взаимодействия федеральных органов исполнительной власти России // Автореферат на соискание ученой степени к.ю.н. – М., 2007.
23) Киселева О. А. Политическое развитие ведущих стран Запада в Новое время: от абсолютизма к буржуазному конституционизму. М.: МГПУ, 2010. С. 56-57.
24) Клищ Н.Н. Методы повышения эффективности управления в органах государственной власти // Состояние и механизмы модернизации государственного управления в РФ. М., 2004. С. 34-41.
25) Ларичев О.И. Теория и методы принятия решений. — М.: Логос, 2002. 198 с.
26) Малышев Д.М. Социальное обеспечение как гарантия реализации права на достоинство в РФ // Научный поиск. 2015. № 1.5. С. 68-71.
27) Мэнинг Н., Парисон Н. Реформа государственного управления. Международный опыт. М.: Весь мир, 2003. 450 с.
28) Нечаев В.Д. Избиратель: покупатель, продавец или вкладчик? // Полис, 2001, № 6, С. 40-50. Принятие решений. Метод анализа иерархий. — М., 1993.
29) Новиков М.Л. Государственная политика в отношении трудовой занятости людей с инвалидностью: международный опыт и российская практика / М.Л. Новиков. - М: РООИ «Перспектива», 2013.
30) Оболонский А.В. Бюрократия для XXI века? Модели государственной службы. Россия, США, Англия, Австралия. М.: Дело, 2002. 248 с.
31) Полякова И. А. Состояние и динамика трудовой и научно-инновационной сфер Российской Федерации: статистический анализ и оценивание / И. А. Полякова, Г. А. Бондаренко, Ю. И. Иващенко. Ростов-на-Дону: Изд-во РГЭУ (РИНХ), 2013. 142 с.
32) Романова А.П. Право социального обеспечения в РФ: понятие и терминология // Публичное и частное право. 2015. № I. С. 235-238. 29) Теория государства и права / Учебник; под ред. А. В. Малько и Д. А. Липинского. М.: Проспект, 2016. С. 35-28.
33) Симонов К.В. Политический анализ. — М.: Логос, 2002. 230 с.
34) Туранок С.Г. Политический анализ: Курс лекций. М., 2005. 230 c.
35) Хасбулатова О. А., Эрмиш И. Г. Модернизационные аспекты социальной защиты населения // Женищина в российском обществе 2010 - № 3. С. 3-5.
36) Цыганков Д., Карпова П. Советы по оптимизации регулирования как неотъемлемый компонент «smartregulation» // Вопросы государственного и муниципального управления. 2012. № 3. С. 5-34.
37) Цыганков Д.Б. Российский политико-управленческий цикл: дефициты подходов к оцениванию // Оценка политик и новая политическая экономия: инструменты анализа экономических реформ, М.: ЦЭМИ РАН, 2006. с. 5-12.
38) Чагина А.В., Вильчинская О.В. Проблемы реализации механизма оценки эффективности деятельности органов местного самоуправления // Вестник Башкирского института социальных технологий 2010 - № 1(5). С.72-73.
39) Ядов В. Стратегия социологического исследования. Описание, объяснение, понимание социальной реальности. М., "Добросвет", 1998.
40) Якунин В., Сулакшин С. О значении факторного анализа при формировании государственной политики // Власть. 2006. № 9. С. 64-69.
41) Abbott M. L. The program evaluation prism: using statistical methods to discover patterns. Oxford: Wiley-Blackwell, 2010. 310 p.
42) Anderson J. Public Policymaking: An Introduction. Boston, 1994. 340 p.
43) A Transformative Perspective on Administrative Reforms / Ed. Christensen T. Lagreid P. New Public Management, Aldershot: Ashgate. 2001. 340
p.
44) Bardach, Eugene, The Implementation Game: What Happens After a Bill Becomes a Law, MIT Press, Cambridge/London, 1977.
45) Barzelay M. Gallego R. The comparative historical analysis of public management policy cycles in France, Italy, and Spain: symposium introduction // Governance. 2010. Vol. 23. N 2. P. 340.
46) Bemelmans-Videc M.L. Evaluation in The Netherlands 1990-2000. 2002. 120 p.
47) Cahn, Matthew, Playing the Policy Game, in: Public Policy: The Essential Readings // ed. Stella Theodoulou and Mathew Cohn, Englewood Cliffs, NJ: Prentis Hall, 1995, pp. 181-185.
48) Carlsson L. Non-Hierarchical Evaluation of Policy // Evaluation. 2000 Vol. 6 (2). P. 119-121.
49) Clarke, John, Scrutiny through inspection and audit: Policies, structures and processes, in: Public Management and Governance // ed. by Bovaird T. & Loeffler E., London/New York: Routledge, 2003, pp. 148.
50) Cobb, Roger W., Elder, Charles D., Issues and Agendas, in: Public Policy: The Essential Readings // ed. Stella Theodoulou and Mathew Cohn, Englewood Cliffs, NJ: Prentis Hall, 1995, pp. 96-104.
51) Cobb, R.W., Ross J.K., and Ross H.R., Agenda Building as Comparative Political Process // American Political Science Review, Vol. 20, No. 1, 1976.
52) Consolidation and Expansion. – Furubo J.-E. Rist R.C. Sandahl R. (eds), International Atlas of Evaluation, New Brunswick and London: Transaction.
53) Davies I.C. Evaluation and Performance Management in Government // Evaluation, 1999. Vol. 5(2). P. 46-51.
54) Elmore, Richard, Backward Mapping: Implementation Research and Policy Decisions // Political Science Quarterly, Winter 1979-80, pp. 601-616.
55) Etkin C., Coutts B. Public agenda online: the inside source for public opinion and policy analysis // Library Journal. 2003. Vol. 128. N 7. P. 43.
56) Fitzpatrick J. L. Sanders J. R., Worthen B. R. Program evaluation: alternative approaches and practical guidelines / 4 ed. Boston; Munich: Pearson Education. 2012. 544 p.
57) Grembowski D. The practice of health program evaluation / Second edition. Los Angeles: SAGE Publications 2016. 324 p.
58) Hall I. Evaluation and social research, Palgrave Macmillan, 2004. 159 p.
59) Handbook of practical program evaluation / Ed. K. E. Newcomer, H. P. Hatry, J. S. Wholey; Fourth edition. Hoboken, NJ: Jossey-Bass, 2015. 864 p.
60) Handbook on the theory and practice of program evaluation / Ed. A. N. Link, N. S. Vonortas. Cheltenham: Edward Elgar, 2013. 403 p.
61) Heclo, Hugh, Issue networks and the Executive Establishment, in: The new American political system, American Enterprise Institute, Washington D.C., 1978.
62) Hong, Heung Deug & Boden, Mark, R&D programme evaluation — Theory and Practice, Ashgate Publishing, 2003.
63) Huey T. Ch. Practical program evaluation: theory-driven evaluation and the integrated evaluation perspective; Mercer University, Second edition. Los Angeles: SAGE Publications, 2015. 443 p.
64) Jeremiah E.T. The emergence of reflexivity in Greek language and thought: from Homer to Plato and beyond. Leiden; Boston: Brill, 2012. P. 201-209.
65) Kingdon, John W.: Agenda Setting, in: Kingdon,John W.: Agendas, Alternatives and Public Policies, 2004.
66) Kuhlmann S. Evaluation of research and innovation policies: a discussion of trends with examples from Germany // International Journal Technology Management, 2003, Vol. 26. P. 26-32.
67) Kuipers H. Richardson R. Active Qualitative Evaluation: Core Elements and Procedures // Evaluation. 1999.Vol. 5(1). P. 25-31.
68) Kuzmin A., Tsygankov D. The emerging field of evaluation and the growth of the evaluation profession: the Russian experience // The Canadian Journal of Program Evaluation. 2013. Vol. 28. N 3. С. 87-102.
69) Learning from science and technology policy evaluation / ed. by Philip Shapira & Stefan Kuhlmann, Cheltenham / Northhampton: Edward Elgar, 2003.
70) Lindbloom, Charles E., The Science of Muddling Through // Public Administration Review 19, 1959, p. 79-88.
71) Majone, G., Wildavsky A., Implementation as Evolution, in: Implementation / Pressman, Jeffrey L. & Aaron Wildavsky, Berkeley, Univ. of California Press, 1984, 3rd Edition.
72) Martin S., Sanderson I. Evaluating Public Policy Experiments. Measuring Outcomes, Monitoring Processes or Managing Pilots? // Evaluation. 1999 Vol. 5(3). P. 78-81.
73) Matland, Richard, Synthesizing the implementation literature: The ambiguity-conflict model of policy implementation // Journal of Public Administration Research and Theory, 1995, 5 (2), pp. 145-174.
74) Mertens D. M. Program evaluation theory and practice: a comprehensive guide. New York, NY: Guilford Press, 2012. 621 p.
75) Myth, truth, and narrative in Herodotus / ed. E. Baragwanath. Oxford: Oxford univ. press, 2012. P. 125-126.
76) Niskanen W. A. Policy analysis and public choice / Selected papers. Cheltenham: Edward Elgar, 2004. 198 p.
77) Parsons D.W. [Book review] Public policy, an introduction to the theory and practice of policy analysis // Journal of Policy Analysis and Management. 1997. Vol. 16. P. 176-178.
78) Patton, M.Q., Utilization Focused Evaluation. Thousand Oaks: Sage Publications, 1997.
79) Patton, M.Q., Qualitative research and evaluation methods (3rd. ed.). Thousand Oaks: Sage, 2001.
80) Pawson, Ray & Tilley, Nick, Realistic Evaluation, London: Sage Publications, 2006; Rossi, P.H., Lipsey, M.W., Freeman, H.E., Evaluation: A Systematic Approach, 7th ed., Thousand Oaks: Sage Publications , 2004.
81) Peter, John, Is There Life After Policy Streams, Advocacy Coalitions, and Punctuations: Using Evolutionary Theory to Explain Policy Change? // Policy Studies Journal, Volume 31, Number 4, November 2004.
82) Policy Issue Networks and the Public Policy Cycle: A Structural-Functional Framework for Public Administration. James E. Skok // Public Administration Review, Vol. 55, No. 4. (Jul. — Aug., 1995), pp. 325-332.
83) Politt, Christopher, Public Management Reforms, 2nd enlarge ed., Oxford University Press, 2004.
84) Program evaluation: strategies to facilitate agencies' use of evaluation in program management and policy making: report to congressional committees. United States. Government Accountability Office. Washington, D.C.: United States Government Accountability Office, 2013. 56 p.
85) Rhodes R.A.W. Understanding Governance. Policy Networks, Governance, Reflexivity and Accountability. Buchingham, 1999. 450 p.
86) Rivera, Jorge, de Leon, Peter, Is Greener Whiter? Voluntary Environmental Performance of Western Ski Areas // Policy Studies Journal, Volume 32, Number 3, August 2004, pp. 417-437 (21).
87) Rubin F. A Basic Guide to Evaluation for Development Workers. Oxfam, Oxford, 1998.
88) Sabatier, Paul & Mazmanian, Peter,. A Conceptual Framework of the Implementation Process, in: Public Policy: The Essential Readings // ed. Stella Theodoulou and Mathew Cohn, Englewood Cliffs, NJ: Prentis Hall, 1995, pp. 152-172.
89) Schober S., Bergsmann C., Evelyn B. Program Evaluation // International Encyclopedia of the Social & Behavioral Sciences. 2012. P. 324-326.
90) ShapiroJ. Evaluation: Judgement Day or Management Tool? Olive, 1996.
91) Spaulding D. T. Program evaluation in practice: core concepts and examples for discussion and analysis / Second edition. San Francisco: Jossey-Bass, 2014. 198 p.
92) Spector M. J. Program Evaluation // The SAGE Encyclopedia of Educational Technology. 2011. P. 528-530.
93 ) The Cambridge Handbook of Expertise and Expert Performance / Ed. K. A. Ericsson, N. Charness,P. J. Feltovich, R. R. Hoffman. Cambridge, 2006. P. 223-228
94) The Delphi Method. Techniques and Applications / ed. H. Linstone & M. Turoff. Addison-Wesley Publishing Company, 1975. P. 212 – 216.
95) The Dynamics of Issue Expansion: Cases from Disability Rights and Fetal Research Controversy Elaine B. Sharp // The Journal of Politics, Vol. 56, No. 4. (Nov., 1994), pp. 919-939.
96) The Impact of Agenda Conflict on Policy Formulation and Implementation: The Case of Gun Control William J. Vizzard // Public Administration Review, Vol. 55, No. 4. (Jul. — Aug., 1995), pp. 341-347.
97) Theodoulou, Stella Z., How Public Policy is Made, in: Public Policy: The Essential Readings // ed. Stella Theodoulou and Mathew Cohn, Englewood Cliffs, NJ: Prentis Hall, 1995, pp. 86-96.
98) The program evaluation standards: a guide for evaluators and evaluation users / Ed. D. B. Yarbrough; 3rd ed. Thousand Oaks, Calif. : SAGE, 2011. 334 p.
99) United States General Accounting Office. Performance Measurement and Evaluation: Definitions and Relationships. Washington, DC: USGAO, 1998.
100) Van Der Knaap P. Performance Management and Policy Evaluation in the Netherlands // Evaluation. 2000. Vol. 6(3). P. 8-13.
101) Weissert, C. S. Goggin M. L. Nonincremental policy change: Lessons from Michigan’s medicaid managed care initiative // Public Administration Review 62 (2 March/April 2002), pp. 206-216.
102) Wollmann H. Policy knowledge and contractual research — International Encyclopedia of Social and Behavioral Sciences. Vol. 5. Elsevier, 2003. P. 288-292.
103) Wollmann H. Public sector reform and evaluation. Approaches and practice in international perspective // Evaluation in Public Sector Reform. Concepts and Practice in International Perspective, Cheltenham/Northampton: Edward Elgar, 2003. P. 55-61.
104) Wilson, William J.: Expanding the Domain of Policy-Relevant Scholarship in the Social Sciences / CASEpaper 52, February 2002, London.
105) Winter, Soren C. Implementation Perspectives: Status and Reconsideration, in: Handbook of Public Administration / ed. by Peters G. and Pierre J., London etc.: Sage, 2003, pp. 212.