Введение
Тестовые статистики Статистика Вилкоксона Статистика Уэлча Множественное тестирование
Теоретическое описание процедур множественного тестирования
Процедура Бенджамини-Хочберга d-апостериорный подход
Применение d-апостериорного подхода к реальным данным
Вероятностная модель и оценка параметров
Данные по пациентам с лейкозом
Данные по пациентам с неврологическим заболеванием
Анализ вероятностных моделей методом Монте-Карло
Сравнение процедуры Бенджамини-Хочберга с d- гарантийным критерием
Проверка трех гипотез
Заключение
Список литературы
Приложения
В данной работе исследуются свойства процедур множественного тестирования на примере задачи сравнения двух групп пациентов по большому количеству характеристик. В задачах такого типа часто применяется процедура, предложенная Бенджамини и Хочбергом. Эта процедура устроена так, что математическое ожидание относительной частоты ошибочно отклоненных нулевых гипотез (показатель FDR) удовлетворяет заданным ограничениям / Е ( 0 , 1 ) . К сожалению, эта процедура обладает рядом серьезных недостатков. Так, если доля «нулевых» гипотез, т.е. не различающихся характеристик, мала, то эта процедура имеет большую вероятность признания всех гипотез нулевыми. В связи с этим, показатель FDR может стать неконтролируемо больше номинального уровня /. С другой стороны, если доля «нулевых» гипотез велика, этот показатель становится значительно меньше /. Для исправления ситуации в литературе предлагалось множество других подходов, также ориентированных на величину.
Близкий по смыслу подход, который можно применять для задач множественного тестирования, разработан на кафедре математической статистики КФУ [1], называется d-апостериорным подходом и представляет собой продолжение байесовского подхода. Другими словами, для его применения необходимо построение вероятностной модели распределения наблюдений и вероятностной модели распределения интересующего нас параметра.
Проблема множественного тестирования касается многих сфер жизни современного общества. Актуальность анализа свойств процедур множественного тестирования объясняется высокой заинтересованностью в решении подобных проблем среди медицинских работников, особенно среди специалистов, занимающихся онкологическими и фармакологическими исследованиями. В этих исследованиях обычно требуется проанализировать течение какой-либо болезни или оценить эффективность нового лекарственного средства по результатам измерений большого числа характеристик относительно небольшой группы пациентов.
В данной работе сравнительный анализ процедуры Бенджамини- Хочберга и оптимальной d-гарантийной процедуры планировалось провести на примере двух совокупностей данных. Первая группа данных была взята из статьи T.R. Golub [2]. Данные представляют собой результаты анализов костного мозга и периферической крови пациентов, с диагностированным заболеванием лейкоз. По некоторому вспомогательному признаку их распределили по типу заболевания на две группы: ОМЛ (острый миелоидный лейкоз - п 1 = 3 8 пациентов), ОЛЛ (острый лимфобластный лейкоз - п 2 = 3 4 пациентов). Таким образом, у каждого пациента было обследовано 1647 генов. Для каждого из генов требовалось принять решение о степени его влияния на тип лейкоза. Вторая совокупность данных содержит измерения экспрессии 48784 генов у 10 больных со специфическим неврологическим заболеванием и 7 здоровых пациентов. Здесь также необходимо принять решение о влиянии экспрессии каждого гена на разделение по группам.
В практических исследованиях наиболее популярные методы сравнения двух групп основаны на статистике Вилкоксона или на статистике Стью- дента. В настоящее время на практике статистика Стьюдента применяется все реже, поскольку трудно соблюсти условия её реализации. Поэтому в данной работе изучается аналог этой статистики, называемый статистикой Уэлча. Для разработки процедур множественного сравнения в d-апостериорном подходе необходимо обладать информацией о типе распределения рассматриваемых статистик как при нулевой гипотезе, так и при альтернативе. Поэтому на первом этапе наших исследований были получены утверждения об асимптотическом распределении этих статистик. Как и ожидалось, обе они имеют асимптотически нормальное распределение. Эти утверждения, были получены с помощью метода стохастического моделирования, а так же с помощью популярного дельта-метода получения асимптотических выводов о распределении статистик.
Указанные асимптотические утверждения применяются для построения статистических критериев, гарантирующих величину d-риска первого рода. Для сравнения к тем же данным применяется процедура Бенджамини- Хочберга (с теми же тестовыми статистиками) и проводится сравнение полученных результатов с d-апостериорным подходом. Показано, что оптимальная процедура в d-апостериорном подходе имеет большую вероятность отвержения нулевой гипотезы.
В данной работе исследовались свойства процедур множественного тестирования на примере задачи сравнения двух групп пациентов по большому количеству характеристик. Одной из выбранных процедур является процедура Бенджамини-Хочберга. Изучение статей [5],[6] показало, что эта процедура может быть высоко консервативной. Другими словами, при ее использовании отвергается излишне мало гипотез. С другой стороны, если количество ненулевых гипотез относительно мало, то процедура Бенджамини-Хочберга имеет большую вероятность того, что полное количество отвергнутых гипотез , а это, в свою очередь, приводит к значительному и неконтролируемому повышению относительно номинального уровня значимости.
Второй процедурой, изученной в данной работе, является d-гарантийная процедура, разработанная в рамках d-апостериорного подхода на кафедре математической статистики КФУ.
Сравнительный анализ процедуры Бенджамини-Хочберга и оптимальной d-гарантийной процедуры планировалось провести на примере двух совокупностей данных. Первая совокупность данных представляет собой результаты анализов пациентов, больных лейкозом и разделенных по типу заболевания на две группы. Вторая совокупность данных представляет собой результаты анализов пациентов с неврологическим заболеванием и здоровых пациентов. По вышеупомянутым наборам данных вычислялись тестовые статистики Вилкоксона и Уэлча, поскольку именно на этих статистиках основываются методы, используемые для сравнения двух групп.
В первой главе для разработки процедур множественного сравнения в d-апостериорном подходе были получены утверждения об асимптотическом распределении статистик Вилкоксона и Уэлча при нулевой гипотезе и при альтернативе. Методом стохастического моделирования, а так же дельтаметодом получения асимптотических выводов о распределении статистик было доказано, что обе они имеют асимптотически нормальное распределение.
Во второй главе после построения вероятностной модели (8) проводилась проверка соответствия этой модели реальным данным. На основе этой проверки было выявлено, что данные по пациентам с лейкозом хорошо описываются моделью (8). Проверка осуществлялась критерием согласия Колмогорова, для наглядности соответствия данных модели строились графики (рис. 1, рис. 2) сравнения эмпирической функции распределения (по вычисленным статистикам) и оценочной функции распределения (9). При применении того же критерия к данным по пациентам с неврологическим заболеванием было установлено, что эмпирическое распределение тестовых статистик не соответствует предполагаемой модели (8). Графики p-значений (рис. 3, рис. 4) позволил выдвинуть предположение о том, что данные пациентов с неврологическим заболеванием были получены не случайным образом, поэтому дальнейшие исследования производились только на первом наборе данных (по пациентам с лейкозом).
Анализ вероятностной модели (8) методом Монте-Карло показал, что для сгенерированных данных имеется высокий разброс ошибок, который может быть объяснен как низкой точностью рассматриваемого метода оценивания, так и несоответствия модели генерируемым данным.
Статистические критерии, гарантирующие величину d-риска первого рода, строились на основе асимптотических утверждений, сделанных в первой главе, после чего применялись к данным. Далее к тем же данным применялась процедура Бенджамини-Хочберга, после чего проводилось сравнение полученных результатов с d-апостериорным подходом. Сравнение результатов показало, что при применении d-гарантийной процедуры для критерия, основанного на статистике Уэлча, отвергается в 2.5 раза больше нулевых гипотез, чем при применении процедуры Бенджамини-Хочберга, а для критерия, основанного на статистике Вилкоксона, примерно в 4.5 раза. Таким образом, оптимальная процедура в d-апостериорном подходе имеет большую вероятность отвержения нулевой гипотезы.
В заключение рассматривалась задача различия трех гипотез. Было выявлено, что наилучший выбор критических констант С±, С 2 связан с решением минимаксной задачи. Для данных о пациентах с лейкозом и статистики Уэлча было сформулировано утверждение, в котором были найдены константы, обеспечивающие совпадение значений всех трех характеристик надежности. Также было изучено поведения апостериорной вероятности трех гипотез.
1 Володин И. Н., Новиков А. Н., Симушкин С. В. Гарантийный статистический контроль качества: апостериорный подход //Обозрение прикладной и промышленной математики. - 1994. - Т. 1. - №. 2. - С. 148-178.
2 Golub T. R. Molecular classification of cancer: class discovery and class prediction by gene expression monitoring //science. - 1999. - Т. 286. - №. 5439. - С. 531-537.
3 Большев Л. Н., Смирнов Н. В. Таблицы математической статистики. - Наука, 1965.
4 Симушкин С. В. Многомерный статистический анализ: учебное пособие. Ч. 2 //Изд-во КГУ. - 2009.
5 Benjamini Y., Hochberg Y. Controlling the false discovery rate: a practical and powerful approach to multiple testing //Journal of the Royal statistical society: series B (Methodological). - 1995. - Т. 57. - №. 1. - С. 289-300.
6 Zaykin D. V., Young S. S., Westfall P. H. Using the false discovery rate approach in the genetic dissection of complex traits: a response to Weller et al //Genetics. - 2000. - Т. 154. - №. 4. - С. 1917-1918.