РЕФЕРАТ 2
ВВЕДЕНИЕ 5
1 Конфиденциальность в машинном обучении 7
1.1 Проблема конфиденциальности в машинном обучении 8
1.2 Риски использования конфиденциальных данных в машинном обучении8
2 Подходы конфиденциального машинного обучения 11
2.1 Федеративное обучение 11
2.2 Дифференциальная приватность 13
2.3 Гомоморфное шифрование 15
2.4 Протокол конфиденциального вычисления 18
3 Гибридный подход 22
3.1 Описание подхода 22
3.2 Сравнение с другими подходами 25
4 Реализация гибридного подхода для обучения рекуррентных нейронных
сетей 27
4.1 Рекуррентные нейронные сети 27
4.2 Описание реализации 28
4.3 Эксперименты 30
4.4 Выводы 31
ЗАКЛЮЧЕНИЕ 33
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 34
При обучении моделей машинного обучения для некоторых задач необходимо использовать конфиденциальные данные. Например, если мы выявляем случаи банковского мошенничества, то нам нужна информация о транзакциях клиентов банка. При этом владельцы данных хотят, чтобы как можно меньше людей получили доступ к их данным, а владельцы модели хотят, чтобы модель оставалась их собственностью. Если в процессе обучения модели машинного обучения участвует несколько сторон — владельцев данных, то конфиденциальность таких данных может быть нарушена. А некорректная организация процесса машинного обучения может привести к нарушению законов, регламентирующих использование конфиденциальных данных, и, соответственно, штрафам и репутационным издержкам для компаний.
Направление исследований, изучающее подходы машинного обучения, обеспечивающие конфиденциальность данных, называется конфиденциальными машинным обучением. Для решения этой задачи используется несколько классических подходов, описание которых приведено в следующей части. Каждый из подходов имеет свои недостатки и достоинства, поэтому важным направлением исследований становятся гибридные подходы, цель которых — взять все лучшее из базовых и уравновесить их недостатки. В работе [1] гибридный подход был реализован для деревьев решения, метода опорных векторов и сверточных нейронных сетей. Была формально обоснована безопасность этого подхода, и проведены эксперименты, показывающие, что качество модели, обученной с помощью гибридного подхода, не уступает качеству модели, обученной без всяких гарантий безопасности.
Важным алгоритмом машинного обучения являются рекуррентные нейронные сети, использующиеся, например, в машинном переводе, чат-ботах, распознании объектов в видеорядах.
Таким образом, цель выпускной квалификационной работы — реализовать гибридный подход при конфиденциальном обучении рекуррентных нейронных сетей.
Задачи:
1. Проанализировать существующие подходы конфиденциального машинного обучения.
2. Изучить гибридный подход конфиденциального машинного обучения.
3. Реализовать алгоритм для конфиденциального обучения рекуррентных нейронных сетей с помощью гибридного подхода.
4. Оценить и сравнить качество нового подхода с существующими.
В рамках работы была изучена проблема обучения моделей машинного обучения на конфиденциальных данных. Были исследованы существующие подходы: федеративное обучение, дифференциальная приватность,
гомоморфное шифрование, протокол конфиденциального вычисления. Проанализированы их преимущества и недостатки. На основе изученных подходов был выбран наиболее оптимальный — гибридный подход, показывающий самое высокое качество модели, и в то же время предоставляющий эквивалентные гарантии безопасности. В результате выполнения работы гибридный подход был реализован для обучения рекуррентных нейронных сетей, так как рекуррентные нейронные сети являются основой многих современных задач, а тем более чаще всего работают с теми самыми конфиденциальными данными. Описана реализация и произведены эксперименты, доказывающие состоятельность реализации.
