モデル構造の分類
サーベイ論文 Large VLM-based Vision-Language-Action Models for Robotic Manipulation: A Survey の3, 4章によると
- モノリシック
- 単一系(画像・プロンプト・state等をマルチモーダルに扱う)
- 二重系(System2=VLM + System1=action expert)
- 階層型: プランナー + ポリシー に分ける
π0
3.5B (pi0_base)
- VLM: SigLIP + PaliGemma (3B)
- action expert (300M)
images, prompt, state = obs
embed = VLM(images, prompt)
action = ActionExpert(embed, noise, hidden)
ForceVLA
VL = VLM(images, prompt)
F = proj_f(force) # MLPではない
FVL = FVLMoE(VL, F)
Action = ActionExpert(state, noise, FVL) # FBとして F' が得られるので次の F とする
VLMに力入れると性能が落ちるらしい。
Bi-LAT
# state, action: (angle, velocity, torque) for 5 joints
prompt, images, follower_state = observation
action = EncoderDecoder(prompt, images, follower_state) # CVAE @ 100Hz
follower_state = control_follower(action) # position & force control @ 1000Hz
- images: 640x480x3 の画像3枚（上方・側方・グリッパ直下）を ResNet-18 で encode
- prompt: CLIP系（CLIP, SigLIP）やBERT系（DistilBERT, ModernBERT）の言語エンコーダで固定長ベクトルに
- 力覚・状態モジュール: フォロワーロボットの各関節の角度・角速度・トルクを時系列データとして入力
- データ収集には4チャネル双方向制御が用いられ、エンコーダで角度を、DOB/RFOB（外乱オブザーバ・反力オブザーバ）で環境接触によりトルクを推定
TA-VLA
4章「Sense What Was: Torques as Observations」で力の入力方法に対する性能の違いを調査している。
- トルクをどこに埋め込むか
- 過去のトルクをどのように活用するか
(1) Encoder Embedding — ForceVLAでも性能が良くないと言われている
I = ViT(images)
F = MLP(torques)
Encoder([I; L; F])
action = Decoder(state, noise)
(2) Decoder Pre-Concatenation Embedding (DePre)
Encoder([I; L])
pt = MLP([state; torques])
action = Decoder(pt, noise)
(3) Decoder Post-Concatenation Embedding (DePost)
Encoder([I; L])
p = MLP(state)
t = MLP(torques)
action = Decoder(pt, noise)
性能は π0 < (1) < (2) < (3) らしい。
SmolVLA
0.24B, 0.45B (base), 2.25B
- VLM: SmolVLM-2
- action experts (100M)
π0.5
階層モデル
- semantic actions
- subtask labels: ex. “pick up the cutting board”
3.62B (pi05_base)
- VLM: PaliGemma (2B)
- action expert (300M)
ハードウェア
| 論文 | アーム | グリッパやセンサ | カメラ | 備考 |
|---|---|---|---|---|
| Bi-ACT | OpenMANIPULATOR-X (ROBOTIS製、4DoF+グリッパー1DoF) | 標準グリッパー | RGBカメラ2台（俯瞰、グリッパー） | 制御周期1000Hz |
VLAモデル
| 論文 | アーキテクチャ | VLM | 入力 | 備考 |
|---|---|---|---|---|
| pi-0 | Conditional Flow Matching (VLM + Action Expert) | PaliGemma 2B | 言語指示と1フレームの画像・観測データ | ロボット状態は Action Expert に入力される |
| pi0.5 | Conditional Flow Matching (VLM + Action Expert) | PaliGemma (π0ベース) | 言語指示と1フレームの画像・観測データ | ロボット状態は VLM に入力される（テキストトークンとして離散化） |
| SmolVLA | Conditional Flow Matching (VLM + Action Expert) | SmolVLM-2 (SigLIP + SmolLM2) | 言語指示と複数フレームの画像・観測データ | VLMレイヤースキップ、Cross/Self-Attention交互配置、非同期推論対応 |
VTLAモデル
| 論文 | ベースモデル | 力入力 | 力出力 |
|---|---|---|---|
| Bi-ACT | ACT | あり(角度・角速度・トルク) | あり(角度・角速度・トルク) |
| Bi-LAT | ACT | あり(角度・角速度・トルク) | あり(角度・角速度・トルク) |
| FTACT | ACT | あり | なし |
| OmniVTLA | π0 | あり(触覚センサ) | なし |
| ForceVLA | π0 | あり(6軸力センサ) | なし |
| Tactile-VLA | π0 | あり(触覚センサ) | なし |
| VLA-Touch | 任意のVLA (GPT-4oをプランナーとして使用) | あり(GelSight Mini触覚センサ) | なし |
| VTLA | Qwen2-VL 7B | あり(視触覚センサ) | なし |
| TLA | Qwen2 7B | あり(GelStereo 2.0視触覚センサ) | なし |
| TA-VLA | π0 | あり(関節トルク) | あり(将来トルク予測) |