A Tile Tensors Framework for Large Neural Networks on Encrypted Data

@article{aharonitile,
  title={A Tile Tensors Framework for Large Neural Networks on Encrypted Data},
  author={Aharoni, Ehud and Adir, Allon and Baruch, Moran and Drucker, Nir and Ezov, Gilad and Farkash, Ariel and Greenberg, Lev and Masalha, Ramy and Murik, Dov and Shaul, Hayim and others}
}

Abstract

• パッキング方式を最適化、ユーザーのために抽象化
• 2DConvの新しいアルゴリズムを考案
• HE Friendly版のAlexNetを実装したら x100

1. Introduction

• 現状FHE計算はコスト高くAlexNetは1.5dayかかる(学習?推論?)
• CKKSとかはSIMDサポートし, 固定長のベクトルに対する演算ができる
• パッキングの仕方によって計算時間, メモリ等に劇的な影響を与える
• ex. dxd 行列積
  • 単純なアルゴリズム: すべての行列が1つの暗号文にパックされ $O(d^3)$ 時間
  • 改善法: $O(d)$ 空間使うが $O(d)$ 時間で計算できるアルゴリズム
    • Secure Outsourced Matrix Computation and Application to Neural Networks
    • Linear-Regression on Packed Encrypted Data in the Two-Server Model で拡張された
• NNの推論とかになると4次元とか5次元のテンソルの演算を含むので最適なパッキングを見つけるのは難しい
• FHE回路最適化の目標は乗算の深さを減らすこと
• 特に乗算の際ノイズが増える, ノイズが減ることを回避する方法
  • bootstrapping
  • re-encryption: GAZELLEとかNGraphでMPCとして実装されている

セクション2: 本稿で使用する表記法と、背景となる用語を説明する
セクション3: タイルテンソルフレームワークの概要を説明
セクション4: タイルテンソルのデータ構造を紹介
セクション5: オプティマイザー
セクション6: 新しい畳み込みアルゴリズムについて説明
セクション7: CryptoNetsとAlexNetの実験結果を示す
セクション8: 我々の手法を既存の手法と比較
セクション9: 結論をまとめている。

2. 背景

2.1 Notation

$k$
次元テンソル
$[n_1,n_2,\cdots ,n_k]$
は各次元のサイズを表す. (ex.
$5\times 6$
行列:
$[5,6]$
)
$R(j_1,\cdots ,j_k)$
: 要素を表す

2.2 Tensor Basic Operations

テンソルの broadcasting と summation はテンソルのベクトル-行列積とか行列積などの代数的な操作を簡単に表す.

def 2.1 (compatible shapes)

$A[n_1,\cdots ,n_k]$
,
$B[m_1,\cdots ,m_k]$
のcompatible shapesは
$[\max \{n_i,m_i\}{]}_{i<k}$

def 2.2 (broadcasting)

テンソル
$A[n_1,\cdots ,n_k]$
,
$s=[m_1,\cdots ,m_k]$
$C=\mathrm{broadcast}(A,s)$
ex.

$$A[3,4,5],B[1,4,5],s=[3,4,5]$$

のとき

$$\mathrm{broadcast}(A,s)=\mathrm{broadcast}(B,s)$$

def 2.3 (summation)

$S=\mathrm{sum}(A,t)$
:
$t$
次元目に対する和
ex.

$$M[5,4]\oplus \mathrm{broadcast}(V[1,4])=M[5,4]\oplus V[5,4]$$

ex.
$M_1[a,b],M_2[b,c],v[b,1]$
のとき

$$M_{1}v=\mathrm{sum}(M_1\times v^T,2)$$ $$M_1{M}_2=\mathrm{sum}(M_1^{\prime }\times M_2^{\prime },2),M_1^{\prime }=M_1[a,b,1],M_2^{\prime }=M_2[1,b,c]$$