Difference between revisions of "Конфиденциальное глубокое обучение"

From CryptoWiki
Jump to: navigation, search
(Глоссарий)
(Инструменты конфиденциального машинного обучения)
(3 intermediate revisions by one user not shown)
Line 124: Line 124:
 
Настройка: для настройки фреймворка владелец устройства готовит обученную модель ГНС и отправляет ее линейные слои Q (СС и ПС) в EdgeA и EdgeB.
 
Настройка: для настройки фреймворка владелец устройства готовит обученную модель ГНС и отправляет ее линейные слои Q (СС и ПС) в EdgeA и EdgeB.
 
Для I-го линейного уровня владелец генерирует пару ключей шифрования и дешифрования, как показано на рисунках алгоритмов:
 
Для I-го линейного уровня владелец генерирует пару ключей шифрования и дешифрования, как показано на рисунках алгоритмов:
[[File:nYwU5VlmOSM.jpg||central|||frame|Алгоритм 1.]]
+
[[File:nYwU5VlmOSM.jpg]]
 
Si,in для I-го линейного слоя будет случайным образом сгенерирован в соответствии с входной размерностью слоя,и каждый элемент в Si,in будет представлять собой λ-битное случайное число. Si,out-это соответствующий выход I-го линейного слоя при приеме Si,in в качестве входного сигнала.
 
Si,in для I-го линейного слоя будет случайным образом сгенерирован в соответствии с входной размерностью слоя,и каждый элемент в Si,in будет представлять собой λ-битное случайное число. Si,out-это соответствующий выход I-го линейного слоя при приеме Si,in в качестве входного сигнала.
 
{Si,in, Si,out}1≤i≤q пары ключей развертываются на устройстве IoT для более поздних задач вывода ГНС с обеспечением конфиденциальности.
 
{Si,in, Si,out}1≤i≤q пары ключей развертываются на устройстве IoT для более поздних задач вывода ГНС с обеспечением конфиденциальности.
  
 
+
Шифрование данных: когда вывод DNN необходим для устройства IoT,он будет передавать выполнение линейных слоев на аутсорсинг EdgeA и EdgeB в порядке сохранения конфиденциальности. Чтобы быть точным, для I-го линейного слоя его входные данные будут зашифрованы и отправлены в EdgeA и EdgeB для обработки. Промежуточные результаты, возвращаемые пограничными серверами, расшифровываются IoT, которые затем передаются в последующие нелинейные слои. Выходные данные нелинейных слоев будут использоваться в качестве входных данных в качестве (i + 1) - го линейного слоя. Этот процесс будет осуществляться в интерактивном режиме проводится до тех пор, пока все слои DNN не будут выполнены, как показано в алгоритме.2.
 
+
[[File:8mheHRXdEuk.jpg]]
 
+
[[File:T8NFZJF6kc0.jpg]]
 
+
 
+
 
+
 
+
 
+
 
+
 
+
 
+
  
  
Line 206: Line 198:
 
Несколько участников протокола с примерно равными вычислительными мощностями, каждый из которых является источником некоторой части обучающей выборки и получателем результата, совместно выполняют протокол кластеризации без привлечения третьей стороны. Основой конструкции протокола служат GC-схемы с применением схем разделения секрета и протокола «забывающей» передачи. Обеспечивается стойкость к условно пассивному противнику.
 
Несколько участников протокола с примерно равными вычислительными мощностями, каждый из которых является источником некоторой части обучающей выборки и получателем результата, совместно выполняют протокол кластеризации без привлечения третьей стороны. Основой конструкции протокола служат GC-схемы с применением схем разделения секрета и протокола «забывающей» передачи. Обеспечивается стойкость к условно пассивному противнику.
 
[[File:O6wD1eL8JL0.jpg|frame|В таблице 1 введены следующие обозначения: ЛнР – линейная регрессия, ЛгР – логистическая регрессия, ИНС – искусственные нейронные сети, СНС – сверточные нейронные сети, БНС – бинаризованные нейронные сети, РД – решающие деревья, K-means – метод k средних, «Пасс.» – условно пассивный нарушитель, «Акт.» – активный нарушитель, GC – garbled circuits (GC-схемы), SS – secret sharing (схемы разделения секрета), PHE – partly homomorphic encryption (частично гомоморфное шифрование), FHE – fully homomorphic encryption (полностью гомоморфное шифрование).]]
 
[[File:O6wD1eL8JL0.jpg|frame|В таблице 1 введены следующие обозначения: ЛнР – линейная регрессия, ЛгР – логистическая регрессия, ИНС – искусственные нейронные сети, СНС – сверточные нейронные сети, БНС – бинаризованные нейронные сети, РД – решающие деревья, K-means – метод k средних, «Пасс.» – условно пассивный нарушитель, «Акт.» – активный нарушитель, GC – garbled circuits (GC-схемы), SS – secret sharing (схемы разделения секрета), PHE – partly homomorphic encryption (частично гомоморфное шифрование), FHE – fully homomorphic encryption (полностью гомоморфное шифрование).]]
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
  
 
=Глоссарий=
 
=Глоссарий=

Revision as of 09:28, 20 May 2020

Глубокое обучение на основе искусственных нейронных сетей является очень популярным подход к моделированию, классификации и распознаванию сложных данных например, изображения, речь и текст. Беспрецедентная точность измерений методы глубокого обучения превратили их в основу новых сервисов на базе искусственного интеллекта в интернете.

Contents

Основные понятия

Машинное обучение (англ. machine learning, ML) — класс методов искусственного интеллекта, характерной чертой которых является не прямое решение задачи, а обучение в процессе применения решений множества сходных задач. Для построения таких методов используются средства математической статистики, численных методов, методов оптимизации, теории вероятностей, теории графов, различные техники работы с данными в цифровой форме.

Глубокое обучения

Глубокое обучение – такой подход к реализации процедур машинного обучения, при котором существенные признаки формируются автоматически в процессе обучения модели.

738px-Ml areas (1).jpg

Методы глубокого обучения развивались постепенно, их первоосновой стали искусственные нейронные сети. Попытки выстроить архитектуры нейронных сетей в максимальном подобии с открытыми физиологами механизмами работы центральной нервной системы человека и высших животных позволили нащупать механизмы автоматического формирования признаков в процессе обучения, которые и стали основой нового направления. Особенно успешно методы глубокого обучения применяются в компьютерном зрении (анализ изображений) и обработке естественных языков (анализ и синтез текстов, машинный перевод, диалоговые системы). Глубокое обучение: Использует многослойную систему нелинейных фильтров для извлечения признаков с преобразованиями. Каждый последующий слой получает на входе выходные данные предыдущего слоя; Может сочетать алгоритмы обучения с учителем (пример — классификация) и без учителя (пример — анализ образца); Формирует в процессе обучения слои выявления признаков на нескольких уровнях представлений, которые соответствуют различным уровням абстракции; при этом признаки организованы иерархически — признаки более высокого уровня являются производными от признаков более низкого уровня.799px-Network dif.png

Модель глубокого обучения

Глубокое обучение является функцией искусственного интеллекта, которая пытается по максимуму скопировать работу человеческого мозга при обработке данных и создании шаблонов для дальнейшего использования в процессе принятия решений. Глубокое обучение подмножество машинного обучения в области искусственного интеллекта (ИИ), в котором есть сети, способные к обучению без надзора из неструктурированных или немаркированных данных. Также известный как глубокое нейронное обучение или глубокая нейронная сеть. Глубокое обучение легче всего понять в некотором историческом контексте. Вместо того чтобы предоставлять подробную историю глубокого обучения, мы выделяем несколько ключевых тенденций: Глубокое обучение имеет долгую и богатую историю, но прошло под многими именами, отражающими различные философские взгляды, и оно росло и уменьшалось в популярности. Глубокое обучение стало более полезным, так как количество доступных данных обучения увеличилось. Модели глубокого обучения увеличивались в размерах с течением времени по мере совершенствования компьютерной и программной инфраструктуры для глубокого обучения. Глубокое обучение решает все более сложные приложения с возрастающей точностью с течением времени.

Как работают нейросети

В большинстве методов глубокого обучения используются архитектуры нейронных сетей, поэтому модели глубокого обучения часто называют глубокими нейронными сетями.

Термин «глубокий» обычно относится к числу скрытых слоев в нейронной сети. Традиционные нейронные сети содержат только 2-3 скрытых слоя, в то время как глубокие сети могут иметь до 150. Модели глубокого обучения обучаются с использованием больших наборов маркированных данных и архитектур нейронных сетей, которые изучают функции непосредственно из данных без необходимости ручного извлечения функций.
Модель глубокого обучения


Глубокое обучение, подмножество машинного обучения, использует иерархический уровень искусственных нейронных сетей для осуществления процесса машинного обучения. Искусственные нейронные сети построены как человеческий мозг, с нейронными узлами, связанными вместе как сеть. В то время как традиционные программы строят анализ с использованием данных линейным способом, иерархическая функция систем глубокого обучения позволяет машинам обрабатывать данные с помощью нелинейного подхода. Традиционный подход к обнаружению мошенничества или отмывания денег может зависеть от суммы транзакции, которая возникает, в то время как нелинейный метод глубокого изучения будет включать время, географическое местоположение, IP-адрес, тип розничного продавца и любые другие функции, которые могут указывать на мошенническую деятельность. Первый уровень нейронной сети обрабатывает ввод необработанных данных, например сумму транзакции, и передает их на следующий уровень в качестве вывода. Второй уровень обрабатывает информацию предыдущего уровня, включая дополнительную информацию, такую как IP-адрес пользователя, и передает его результат. Следующий уровень берет информацию второго уровня и включает в себя необработанные данные, такие как географическое местоположение, и делает схему машины еще лучше. Это продолжается на всех уровнях нейронной сети. Пример использования нейросетей Используя упомянутую выше систему обнаружения мошенничества с машинным обучением, можно создать пример глубокого обучения. Если система машинного обучения создала модель с параметрами, основанными на количестве долларов, отправляемых или получаемых пользователем, метод глубокого обучения может начать опираться на результаты, предлагаемые машинным обучением. Каждый уровень ее нейронной сети строится на своем предыдущем уровне с добавленными данными, такими как продавец, отправитель, пользователь, социальные сети.


Современные глубокие нейронные сети

Подпитываемый массовым притоком данных и продвинутыми алгоритмами, современные глубокие нейронные сети (ГНС) удивительно помогли IoT-приложениям в широком спектре областей, включая визуальное обнаружение, интеллектуальную безопасность, аудио-аналитику, мониторинг состояния здоровья, инспекция инфраструктуры и т.д. В последнее время лет, что позволяет эффективно интегрировать DNNs и IoT-это получение все большего внимания как со стороны академических кругов, так и со стороны промышленности. Приложения ГНС, как правило, имеют две парадигмы: 1) этап обучения, на котором обучается модель использование обучающего набора данных. 2) фаза вывода, в которой обученная модель используется для вывода результатов (например, предикация, решение, признание) для части входных данных. По отношению к при развертывании на устройствах Интернета вещей фаза вывода в основном используется для обработки данных, собранных на лету. Учитывая этот факт что сложные задачи вывода ГНС могут содержать большое количество вычислительных операций, то их выполнение на ресурсоёмких устройствах Интернета вещей становится сложной задачей, особенно когда во внимание принимаются срочные задачи. Например, одна задача вывода использованием популярных архитектур ГНС (например,, AlexNet, FaceNet и ResNet) для визуального обнаружения могут потребоваться миллиарды операций. Кроме того, многие устройства Интернета вещей питаются от аккумулятора, который будет быстро разряжен выполнение этих сложных задач вывода ГНС. Однако этот тип "облачной" системы может поднимите вопросы конфиденциальности при отправке данных в удаленное облако серверы содержат конфиденциальную информацию. В целях защиты конфиденциальности информации, проблема сохранения конфиденциальности аутсорсинга вывода ГНС, в последние годы привлекла к себе исследовательские усилия.

Предыстория и постановка проблемы

Вычислительный поток вывода DNN состоит из множество линейных и нелинейных вычислительных слоев. Вход каждого слоя-это матрица или вектор, а выход каждого слоя-это матрица или вектор. Слой будет использоваться в качестве входного сигнала следующего слоя, если только последний не будет использован в качестве входного сигнала следующего слоя. В данной статье мы исследуем сверточную нейронная сеть (СНС) в качестве примера, который является главным представителем ГНС. В СНС линейные операции при выводе, выполняемом в основном в полностью связанных (ПС) и сверточных слоях (СС).Нелинейные слои (например, слой активации и слой объединения) обычно помещаются после СС или ПС для выполнения преобразования данных. В СС и ПС слоях, работа с точечным продуктом (DoT(·)) выполняются многократно. Чтобы быть точным, ПС слой принимает вектор v ∈ Rn в качестве входа и выхода y ∈ Rm, используя линейное преобразование как y = W · v + b, где W ∈ R m×n-весовая матрица, а b-вектор смещения. При вычислении W · v m точечных произведений вычисляются как y[i] = DoT(W [i,:], v) 1≤i≤m. В слое CONV a X ∈ R n×n входная матрица будет обработана в H ядер. Для ядра A (k × k) K он сканирует матрицу из верхнего левого угла, а затем движется слева направо. Каждое сканирование представляет собой линейное преобразование это берет окно (k × k) во входной матрице и использует его для вычисления точечного продукта с ядром.

Примеры сверточного слоя и полностью связанного слоя
Модель системы































Как указано в модели системы, наш фреймворк включает в себя два неколлектирующих пограничных вычислительных сервера, ограниченные ресурсами устройства Интернета вещей и владельца устройства.

  • Edge servers: мы рассматриваем два не вступающих в сговор сервера, обозначается как EdgeA и EdgeB, которые развернуты близко

к устройствам Интернета вещей. Каждый пограничный сервер имеет возможность эффективно обрабатывать задачи вывода DNN по открытому тексту, например, обычный ноутбук. Каждый пограничный сервер получит линейные слои обученной модели DNN от владельца устройства. EdgeA и EdgeB будут обрабатывать зашифрованные данные. Запросы вывода DNN от устройств Интернета вещей в режиме приватного сохранения. Мультисерверная архитектура была создана на основе широко принятый для того чтобы сбалансировать обеспеченность и эффективность в области сохранения конфиденциальности аутсорсинга, где на по крайней мере, один сервер не будет вступать в сговор с другими.

Обеспечение конфиденциальности аутсорсинга вывода ГНС

В наш фреймворк, от IoT-устройства требуется выполнение линейных СС и ПС слоев и сохраняет вычислительно эффективные нелинейные слои на локальном уровне. Т.е мы рассматриваем ГНС, содержащий слои q СС и ПС слоев, за каждым из которых следуют нелинейные слои активации при необходимости. Мы используем µ для обозначения длины (в битах) элемента во входной матрице CONV или входного вектора или слоев FC, а λ-для обозначения параметра безопасности. Случайные числа, используемые в нашей конструкции, являются λ-битными, генерируемыми с помощью a псевдослучайная функция F (·).В нашей структуре есть три основных этапа: настройка, данные, и шифрование с обеспечением конфиденциальности.В настройках, владелец готовит предварительно обученную модель DNN и генерирует ключи шифрования и расшифрования для устройства IoT. Когда устройство IoT должно выполнить вывод ГНС по собранным данным, оно выполнит этап шифрования данных, чтобы зашифровать их и отправить на два пограничных сервера. Вывод ГНС затем выполняется в фазе выполнения с обеспечением конфиденциальности. 75rRMHz-g9Q.jpg


Детальная Конструкция

Настройка: для настройки фреймворка владелец устройства готовит обученную модель ГНС и отправляет ее линейные слои Q (СС и ПС) в EdgeA и EdgeB. Для I-го линейного уровня владелец генерирует пару ключей шифрования и дешифрования, как показано на рисунках алгоритмов: NYwU5VlmOSM.jpg Si,in для I-го линейного слоя будет случайным образом сгенерирован в соответствии с входной размерностью слоя,и каждый элемент в Si,in будет представлять собой λ-битное случайное число. Si,out-это соответствующий выход I-го линейного слоя при приеме Si,in в качестве входного сигнала. {Si,in, Si,out}1≤i≤q пары ключей развертываются на устройстве IoT для более поздних задач вывода ГНС с обеспечением конфиденциальности.

Шифрование данных: когда вывод DNN необходим для устройства IoT,он будет передавать выполнение линейных слоев на аутсорсинг EdgeA и EdgeB в порядке сохранения конфиденциальности. Чтобы быть точным, для I-го линейного слоя его входные данные будут зашифрованы и отправлены в EdgeA и EdgeB для обработки. Промежуточные результаты, возвращаемые пограничными серверами, расшифровываются IoT, которые затем передаются в последующие нелинейные слои. Выходные данные нелинейных слоев будут использоваться в качестве входных данных в качестве (i + 1) - го линейного слоя. Этот процесс будет осуществляться в интерактивном режиме проводится до тех пор, пока все слои DNN не будут выполнены, как показано в алгоритме.2. 8mheHRXdEuk.jpg T8NFZJF6kc0.jpg


Инструменты конфиденциального машинного обучения

В качестве строительных блоков криптографических протоколов, реализующих конфиденциальное машинное обучение, используется целый ряд криптографических конструкций и концепций, среди них: • безопасные многосторонние вычисления;

• GC-схемы (англ. garbled circuits);

• OT-протокол (англ. oblivious transfer), или протокол «забывающей» передачи;

• схемы разделения секрета;

• гомоморфное шифрование.

Постановка задачизвучит следующим образом:

Рассматривается множество из n участников криптосистемы. Каждый из n участников обладает секретом. Цель выполнения протокола – в том, чтобы участники своими совместными действиями без привлечения доверенной третьей стороны смогли вычислить некоторую функцию F, аргументами которой является их секреты, не разглашая при этом секреты друг другу и третьим лицам. Таким образом, протокол должен обладать двумя основными свойствами:

JU6Kh-Y0uo8.jpg

Для модели пассивного нарушителя классическими протоколами безопасных многосторонних вычислений считаются GC-схемы (англ. garbled circuits). Это двусторонний протокол для булевых функций, но он служит «строительным блоком» для множества других протоколов, в том числе и многосторонних. Широко известен протокол GMW, который решает эту задачу для многостороннего случая и применим как к булевым функциям, так и к арифметическим схемам. Выполняется он за количество раундов, пропорциональное глубине схемы. Для модели активного нарушителя также известен целый ряд протоколов, основанных как на GC-схемах, так и на других подходах.

Гомоморфное шифрование: Ещё одна важнейшая составляющая криптографической защиты вычислительных процессов. В основеконцепции гомоморфного шифрования лежит модель аутсорсинговых вычислений, когда одна из сторон протокола обладает данными и желает получить результат вычисления некоторой функции от этих данных. Вторая сторона получает и хранит эти данные в зашифрованном виде, выполняет вычисления над зашифрованными данными и передает зашифрованные результаты владельцу данных, но сама при этом не приобретает никаких знаний ни об исходных данных, ни о промежуточных результатах вычислений, ни об окончательном результате вычислений. Владелец исходных данных, получив зашифрованный результат вычислений, может расшифровать его и получить окончательный ответ. Схемы гомоморфного шифрования позволяют в точности реализовать такую схему вычислений. Выделяют два типа схем гомоморфного шифрования: частично гомоморфное и полностью гомоморфное шифрование. Частично гомоморфные схемы позволяют реализовать описанную выше схему аутсорсинговых вычислений только в отношении какой-либо одной арифметической операции (обычно либо сложения, либо умножения). Однако практическое применение частично гомоморфных схем ограничено лишь теми задачами, которые могут быть сведены к вычислению функции, которая может быть выражена в терминах поддерживаемой операции. Полностью гомоморфное шифрование обеспечивает искомые свойства для любой функции, представимой в виде арифметической схемы. Формально схема полностью гомоморфного шифрования определяется как совокупность четырех алгоритмов (Gen, Enc, Eval, Dec). Алгоритмы Gen, Enc, Dec соответствуют стандартной функциональности схем шифрования – это генерация ключа, зашифрование и расшифрование, а алгоритм Eval принимает на входе вектор шифртекстов и функцию f, а выдает зашифрованный результат применения этой функции к вектору шифртекстов. При этом обеспечивается следующее свойство корректности:

2u0 Li1VoOc.jpg

Схемы разделения секрета: Предположим, есть важная секретная информация, которую можно потерять, поэтому опасно доверять кому-то одному. Рассмотрим пути повышения надежности безопасности ее хранения. Первый путь – сделать несколько копий этих данных и хранить их в разных местах. Резервирование обеспечивает высокую надежность хранения, но если скомпрометирована хотя бы одна копия, то секретность всей информация будет потеряна. Второй путь – разделить секрет на несколько частей и хранить их в разных местах, при необходимости собирая вместе. Такая схема обеспечивает высокую конфиденциальность (чтобы восстановить секрет, надо получить все его доли), но низкую надежность (если потеряна хотя бы одна доля, восстановить секрет уже будет невозможно). Желательно построить более гибкую схему. Пусть есть n участников криптосистемы. Мы хотим, чтобы любые t из них могли восстановить секрет, но никакие t-1 из них не смогли бы получить информацию о секрете. Число t (t<n) – параметр схемы, называемый порогом. Схема, обладающая такими свойствами, называется (t,n)-пороговой СРС. Её достоинство в том, что если кто-то из участников потеряет или разгласит свою долю секрета или не будет участвовать в восстановлении секрета, секрет все равно можно будет восстановить и сохранить его конфиденциальность.

L3Xixmzclr4.jpg

Системы конфиденциального машинного обучения для градиентных методов обучения

Как отмечалось выше, один из самых популярных способов реализации безопасных многосторонних вычислений – GC-схемы. На их основе предложен целый ряд протоколов и схем конфиденциального машинного обучения. Первый пример – система SecureML. Она реализует процедуры конфиденциального машинного обучения методами линейной регрессии, логистической регрессии и обучения искусственных нейронных сетей. Система использует в качестве примитивов схемы разделения секрета, GC-схемы и протоколы «забывающей передачи» (oblivious transfer). Архитектура системы предполагает наличие большого количества клиентов, которые исполняют роли поставщиков данных и получателей результата, и двух серверов. Серверы считаются недоверенными, т.е. каждый из них по отдельности может быть скомпрометирован условно пассивным противником, но при этом они не взаимодействуют между собой. Система SecureML обеспечивает вычислительную стойкость к атакам такого противника, но при этом требует от участников достаточно высоких вычислительных и коммуникационных затрат. В системе реализованы протоколы безопасных двусторонних вычислений над действительными числами с фиксированной точностью. В этой системе была многократно улучшена по сравнению с ранее известными протоколами производительность конфиденциального машинного обучения для линейной регрессии, впервые были предложены протоколы для конфиденциального обучения нейронных сетей. Впоследствии на основе системы SecureML была разработана система ABY3. В ней модель конфиденциального обучения методами линейной регрессии, логистической регрессии и обучения искусственных нейронных сетей была расширена для трехсерверной архитектуры. Математическое обеспечение для этой системы было полностью обновлено по сравнению с SecureML, разработана схема для переключения безопасным трехсторонним вычислением булевых, арифметических и GC-схем. Протоколы системы ABY3 обеспечивают теоретико-информационную стойкость к воздействию условно пассивного противника. Обе системы реализованы на языке C++. Наконец, была предложена система CodedPrivateML, в которой возможности распределения вычислений обобщены для произвольного количества n серверов, но только для линейной и логистической регрессий. Протоколы также обеспечивают теоретико-информационную стойкость к воздействию условно пассивного противника. Другой пример – система конфиденциального машинного обучения SecureNN. Система поддерживает модель вычислений с тремя серверами, каждый из которых может быть скомпрометирован условно пассивным противником, и обеспечивает теоретико-информационную стойкость. Особенностью системы является то, что она поддерживает только конфиденциальное обучение искусственных нейронных сетей, но в ней предусмотрена возможность использования практически всех популярных нелинейных функций активации нейронов (ReLU, Maxpool и др.) и популярных архитектур нейронных сетей: многослойных полносвязных и сверточных сетей. Еще один пример – система конфиденциального машинного обучения Trident. Она обеспечивает конфиденциальность обучения для четырех методов: линейной регрессии, логистической регрессии, полносвязных и сверточных нейронных сетей. Архитектура системы – клиент-серверная, число параллельно работающих серверов – до 4-х, один из которых может быть скомпрометирован активным противником. По утверждению авторов, система является практичной как для локальных, так и для глобальных сетей и превосходит по производительности ранее известные системы, включая ABY3. Математической основой системы являются GC-схемы в совокупности со схемами разделения секрета. И наконец, система FLASH, которая функционирует в конфигурации с четырьмя серверами. Она поддерживает следующие методы машинного обучения: линейную регрессию, логистическую регрессию, многослойные нейронные сети, бинаризованные нейронные сети (сети, представленные в виде схемы из логических элементов). Алгоритмы системы основаны на протоколах безопасных многосторонних вычислений.

Системы конфиденциального машинного обучения для кластеризации по методу k средних

Конфигурация протокола подразумевает наличие клиента, который является источником данных и получателем результата, а также недоверенного сервера, выполняющего вычисления. Показано, что вычислительную сложность протокола можно уменьшить, если допустить снижение точности кластеризации.

модель конфиденциальной кластеризации

Несколько участников протокола с примерно равными вычислительными мощностями, каждый из которых является источником некоторой части обучающей выборки и получателем результата, совместно выполняют протокол кластеризации без привлечения третьей стороны. Основой конструкции протокола служат GC-схемы с применением схем разделения секрета и протокола «забывающей» передачи. Обеспечивается стойкость к условно пассивному противнику.

В таблице 1 введены следующие обозначения: ЛнР – линейная регрессия, ЛгР – логистическая регрессия, ИНС – искусственные нейронные сети, СНС – сверточные нейронные сети, БНС – бинаризованные нейронные сети, РД – решающие деревья, K-means – метод k средних, «Пасс.» – условно пассивный нарушитель, «Акт.» – активный нарушитель, GC – garbled circuits (GC-схемы), SS – secret sharing (схемы разделения секрета), PHE – partly homomorphic encryption (частично гомоморфное шифрование), FHE – fully homomorphic encryption (полностью гомоморфное шифрование).

Глоссарий

Список использованной литературы

Перейти к Список использованной литературы для конфиденциального обучения и применения решающих деревьев
1. Yifan Tian, Laurent Njilla, Member, IEEE, Jiawei Yuan, Member, IEEE, Shucheng Yu, Senior Member, IEEE

  Low Latency Privacy-preserving Outsourcing of Deep Neural Network Inference.

2. Запечников С.В. Безопасность информационных технологий. 2020. Т. 27. № 1. С. 51-67. "МОДЕЛИ И АЛГОРИТМЫ КОНФИДЕНЦИАЛЬНОГО МАШИННОГО ОБУЧЕНИЯ".

3. Запечников С.В. Криптографическая защита процессов обработки информации в недоверенной среде: достижения, проблемы, перспективы.

4. Raykova M. Advanced cryptography on the way to practice / M. Raykova // Real World Cryptography 2019, Switzerland, Zurich, 2019.

5. Zapechnikov, S.V. Kriptograficheskie protokoly I ih primenenie v finansovoj I kommercheskoj deyatel’nosti: Uchebnoe posobie dlya vuzov S. Zapechnikov. Moscow, “Goryachaya liniya – Telekom”, 2007. – 320 p. (in Russian).

6.Запечников, С.В. Криптографическая защита процессов обработки информации в недоверенной среде:достижения, проблемы, перспективы / С. Запечников // Вестник современных цифровых технологий. 2019. № 1. С. 6–18.