ML コンパイラ(TVM / Glow / PlaidML)
pytorch などの計算グラフを受け取り、多様なハードウェア向けに最適化・コード生成する深層学習コンパイラ群。一般的なcompiler-optimizationの手法を NN の演算グラフに適用する。
主要なもの
- TVM: “An Automated End-to-End Optimizing Compiler for Deep Learning”(Chen et al., OSDI 2018)。エンドツーエンドの自動最適化コンパイラ。
- Glow: PyTorch のグラフコンパイラ。最適化パス群を備える。
- PlaidML: CUDA 等にロックインしない ML バックエンド。MLIR を採用し、Stripe(Nested Polyhedral Model による Tensor Compilation)を拡張した IR を持つ。Metal や RNN にも対応。
関連トピック
- モデル圧縮: MPDCompress は重み行列を置換行列でブロックごとに分離(Subgraph separation)し、GPU でのブロック計算を効率化する。
- 推論高速化の実践的応用は realtime-vla(VLA 推論を Triton カーネル + CUDA Graph で最適化)に連なる。
関連
- pytorch / compiler-optimization / realtime-vla
- _moc-ml-robotics(ml-robotics クラスタの atomic ノート群)