Тема: О применении методов обнаружения выбросов к задаче исследования проб нефти

Методы многомерного анализа данных тесно связаны с математической статистикой, она широко используется в физическом и химическом анализе, в частности, для вычисления средних, отклонений, пределов обнаружения, проверки гипотез. Проблема обнаружения измерений, негативно влияющих на обеспечение чистоты анализа данных - одна из основных проблем анализа данных.
Данная работа посвящена анализу проб нефти с целью обнаружения выбросов - результатов измерения, выделяющихся из общей выборки [4] - и дальнейшей кластеризации полученных проб. По результатам лабораторных анализов судят о среднем составе и параметрах добытой нефти. Достоверность выявленных параметров нефти зависит не только от точности лабораторного оборудования и тщательности соблюдения методик измерений физико-химических свойств нефти, но и от правильности отбора проб. Если проба оказалась случайной и не характеризует средний состав прошедшей нефти, то и её анализ не может отразить действительного физико-химического состава. Под погрешностью отбора проб понимают отклонение значения величины, характеризующей состав, свойства пробы вещества от значения этой же величины характеризующей состав, свойства объекта аналитического контроля в целом.
В данной работе описан и модифицирован один из методов обнаружения выбросов в одномерных наборах данных, проведен корреляционный анализ, описан кластерный анализ, применимый к задаче исследования проб нефти, введена метрика для оценки качества кластеризации.

Купить

Целью данной работы был анализ проб нефти на наличие выбросов, а также кластеризация найденных проб.
При первичном анализе данных с помощью инструментов дескриптивной статистики был описан характер распределения проб, построенные графики квантиль-квантиль показали рассогласование исследуемого и нормального распределения в каждой пробе.
Построенные корреляционные матрицы Спирмена, Пирсона, Кендала показали, что полученные данные проб сильно коррелируют между собой.
На последующем этапе обработки полученных данных с помощью тестов Шапиро-Уилка, Колмогорова-Смирнова и Адерсона-Дарлинга нулевая гипотеза Н0 «случайная величина распределена нормально» была отклонена.
Универсальные преобразования логарифмирования и метод Бокса- Кокса не привели распределение данных к нормальному, поэтому, для следующего этапа работы - обнаружения выбросов, - был выбран метод Тьюки, использующийся в таких задачах, где распределение неизвестно или не соответствует нормальному. На основе экспериментов была произведена его модификация, определены подходящие границы для обнаружения и удаления выбросов.
Для снижения размерности данных был использован метод главных компонент (PCA) и агломеративный метод иерархической кластеризации (Feature Agglomeration).
Далее для «очищенных» данных была произведена кластеризация 3 способами: методом k-means без уменьшения размерности данных (метод 1), методом k-means c уменьшением размерности данных при помощи PCA (метод 2); методом k-means c уменьшением размерности данных при помощи Feature Agglomeration (метод 3).
Для оценки качества алгоритма была введена метрика оценки кластеризации Rand. На ее основе наиболее подходящий из рассмотренных в работе алгоритмов кластеризации оказалась кластеризация методом 3.
Тем не менее, рассмотренные алгоритмы не сгруппировали все пробы по кластерам, соответствующим пластам. Это может быть связано со специфичностью данных - малый объем выборки, зависимость результатов химического эксперимента от таких составляющих как точность оборудования, способ забора проб и другого. Альтернативными методами кластеризации являются метод нечеткой кластеризации c-means и Expectation-maximization (ЕМ)-алгоритм. На большей выборке данных возможно использовать иерархические методы классификации.
Таким образом, пробы № 1-2 отнесены к пласту АС10.4(6) (кластер 1), пробы № 3-4, 6-9 отнесены к пласту АС10.1-3(1) (кластер 1) с вероятность 0.83. Проба № 5 так же отнесена к кластеру 1, но взята из пласта АС10.4(1). Проба № 23 отнесена к пласту АС12.1(2) (кластер 4). Пробы № 10-12, 14-16 отнесены к пласту АС10.0.1(1) (кластер 4) с вероятностью 0.5. С вероятностью 0.33 пробы № 17-22 отнесены к пласту АС12.3-5(4) (кластер 5).

Купить