Drag-and-Drop LLMs

Drag-and-Drop LLMs: ゼロショット・プロンプト・トゥ・ウェイト合成による次世代モデル適応技術の分析

大規模言語モデル（LLM）の急速な普及に伴い、特定のタスクやドメインに対してモデルを最適化する手法の重要性がかつてないほど高まっている。従来、モデルの適応には全パラメータのファインチューニングや、LoRA（Low-Rank
Adaptation）に代表されるパラメータ効率の良いファインチューニング（PEFT）が用いられてきた^1^。しかし、これらの手法は、新しいタスクごとに数時間から数日の学習時間を要し、膨大な計算リソースとハイパーパラメータの調整という高い障壁を伴う^3^。こうした背景の中、プロンプトから直接タスク固有の重みを生成する「Drag-and-Drop
LLMs（DnD）」という革新的なアプローチが登場した。本報告書では、勾配降下法を一切介さずに、ラベルのない数個のプロンプトのみからモデルを適応させるこの新技術について、その理論的背景、アーキテクチャ、実験結果、および将来的な展望を詳述する。

モデル適応のパラダイムシフトと背景

深層学習におけるモデル適応の歴史は、計算効率と表現能力の間の絶え間ない妥協の歴史であった。初期の適応手法は、事前学習済みモデルの全重みを更新するフルファインチューニングに依存していたが、これは大規模モデルにおいては現実的ではない計算コストを強いるものであった。その後、LoRAのようなPEFT手法が登場し、学習パラメータを大幅に削減することに成功したものの、依然として「タスクごとの最適化ループ」という根本的な制約を抱えていた^2

DnDは、この「データ {width=“0.20174212598425198in”
height=“0.2442136920384952in”} 勾配
{width=“0.20174212598425198in”
height=“0.2442136920384952in”}
重み」という伝統的な最適化プロセスを、単一のフォワードパスによる直接的なマッピングへと置き換える^1^。この発想の根底には、LoRAアダプタの本質が、その学習データ（プロンプト）の関数であるという洞察がある。つまり、勾配降下法がベースモデルの重みを特定のタスクの最適解へと「引き寄せる（Dragging）」プロセスを、あらかじめ学習されたパラメータジェネレータによって模倣することが可能であるという理論である^2^。この手法は、従来手法と比較して最大12,000倍の高速化を実現し、AIのカスタマイズを劇的に民主化する可能性を秘めている^3

Drag-and-Drop LLMs の理論的枠組み

DnDの核心は、プロンプトを「タスクの指紋（Fingerprint）」として捉え、それを高次元の重み空間へとマッピングするメタ学習の構築にある。このプロセスは、以下の二つの主要なフェーズで構成される。第一のフェーズは、多様なデータセットで学習されたLoRAチェックポイントの収集である^1

第二のフェーズは、これらのプロンプト・チェックポイント対を用いて、パラメータジェネレータをトレーニングすることである。このジェネレータは、ラベルのないプロンプトを入力として受け取り、それらをモデルの各レイヤーに適合するLoRA行列へと変換する^1^。この際、プロンプトから抽出されるセマンティックな情報は、軽量なテキストエンコーダ（Sentence-BERT等）によって圧縮され、タスク固有のキュレーションを重みへと注入するための条件信号となる^1

重みとしてのデータモダリティ

DnDが提示する最も重要な洞察の一つは、ニューラルネットワークの重み自体を「生成可能なデータモダリティ」として扱う点である^3^。従来のLLMはテキストや画像を生成するが、DnDは自らの振る舞いを決定する「パラメータ」を生成の対象とする。これにより、推論時にプロンプトをコンテキストウィンドウに詰め込むインコンテキスト学習（ICL）の限界、すなわちトークンコストの増大とコンテキスト長の制約を回避することが可能となる^8^。生成された重みはベースモデルに直接統合され、モデル自体の性質を瞬時に書き換えるため、推論速度を損なうことなく高度な専門性を付与できるのである^3

アーキテクチャの詳細：カスケード型ハイパー畳み込みデコーダ

DnDの技術的卓越性を支えるのが、カスケード型ハイパー畳み込みデコーダ（Cascaded
Hyper-convolutional
Decoder）である。このアーキテクチャは、拡散モデル（Diffusion
Model）ベースのジェネレータが抱える反復的な計算コストという課題を克服するために設計された^1

エンコーダによる条件抽出

入力されたプロンプトバッチは、まず凍結された軽量テキストエンコーダ（例：RoBERTa-base）によって処理される^1^。このエンコーダは、プロンプト内の言語的ニュアンスを抽出し、タスクの性質を記述する低次元の条件埋め込みへと変換する^1

ハイパー畳み込みブロックの設計

デコーダは、複数の「ハイパー畳み込みブロック」から構成されている。各ブロックは、単なる次元拡張ではなく、重み行列の構造的特性を考慮した三つの畳み込みモジュール（幅、高さ、レイヤー間）を統合している^1^。これにより、生成されるLoRA行列
{width=“0.15128499562554681in”
height=“0.24205708661417322in”} および
{width=“0.16316819772528435in”
height=“0.24475174978127734in”}
の内部的な一貫性と、トランスフォーマーの各層にわたるグローバルな調整が同時に達成される^1

具体的な第 {width=“6.404636920384951e-2in”
height=“0.25618547681539805in”}
層の演算処理は、以下の数学的定式化に従う。

1. 幅方向の畳み込みによる特徴抽出:
   {width=“2.624021216097988in”
   height=“0.2499070428696413in”}

2. 高さ方向の畳み込みによる特徴抽出:
   {width=“2.6000207786526683in”
   height=“0.24960192475940507in”}

3. 加算とレイヤー間畳み込みによる統合:
   {width=“2.317218941382327in”
   height=“0.25050962379702535in”}

このプロセスを通じて、プロンプト埋め込みは、最終的な重みテンソル $$
へと段階的に変換される^1^。ここで
{width=“0.16316819772528435in”
height=“0.24475174978127734in”}
はバッチサイズ、{width=“0.18391841644794402in”
height=“0.24522528433945756in”}
はトランスフォーマーのレイヤー数やコンポーネント数、{width=“0.13736986001749782in”
height=“0.2536056430446194in”} と
{width=“0.15861001749781278in”
height=“0.2537762467191601in”}
は重み行列の次元を決定するパラメータである^1

---

構成要素 機能と役割 技術的利点

---

テキストエンコーダ プロンプトからセマンティック特徴を抽出し、条件埋め込みを生成 ラベルなしプロンプトから複雑なタスク記述を理解可能 ^1^

カスケード畳み込みブロック 埋め込みを段階的に拡張し、LoRA行列の構造を再現 拡散モデルより高速で、メモリ効率に優れた単一パス生成を実現
^1^

MSE損失関数 生成された重みと真のチェックポイント重みの平均二乗誤差を最小化 学習の安定性と、勾配降下法の最適な軌跡の模倣を保証 ^1^

表1: DnDアーキテクチャの主要コンポーネントとその機能の比較。データ出典
^1

データ生成とメタ学習のプロセス

DnDが「ドラッグ・アンド・ドロップ」能力を獲得するためには、広範なタスクにわたる「プロンプトと重みのマッピング」の経験が不可欠である。この学習プロセスは、データの多様性とペアリング戦略に大きく依存する。

チェックポイントの収集と多様性

学習の第一歩は、常識推論、数学、プログラミング、マルチモーダルなど、多岐にわたるドメインのデータセットを用いて数千のLoRAアダプタを事前トレーニングすることである^1^。各チェックポイントは、特定のデータ分布に対するモデルの「最適な適応状態」を表している。これらの重みをトークン化し、教師データとして保存することで、パラメータジェネレータは「どのプロンプトがどの重みの変化を必要とするか」を学習する^2

プロンプト・重みペアリング戦略

学習時、特定のデータセットからランダムにサンプリングされたプロンプトバッチが、対応するトレーニング済み重みとペアリングされる^1^。研究の結果、固定されたプロンプトセットを使用するよりも、ランダムにペアリングする戦略の方が、未知のタスクに対する汎化性能が有意に高まることが示されている^1

実験結果とパフォーマンス評価

DnDの有効性は、多岐にわたるベンチマークテストを通じて実証されている。特筆すべきは、トレーニング中に一度も見たことのないデータセットに対する「ゼロショット汎化性能」である。

推論・数学・コード生成における成果

ARC（常識推論）、GSM8K（数学）、LiveCodeBench（プログラミング）などの主要な指標において、DnDは基礎となるLLM（Foundation
LLM）を大幅に上回り、さらに従来の学習済みLoRAの平均値と比較して最大30%の性能向上を記録している^1

---

ベンチマーク 基礎LLMスコア 学習済みLoRA平均 DnD 改善率 (%)
(ゼロショット)

---

ARC-Challenge 68.38 70.82 75.20 +6.2

Math-Vision 22.7 21.0 24.3 +15.7

HellaSwag 56.57 60.92 61.25 +0.5

LiveCodeBench (ベースライン) (ベースライン) (好成績を維持) (スケーリングを確認)

表2: 主要タスクにおけるDnDのゼロショット適応性能。データ出典 ^1

この結果は、DnDが単に既存の重みを平均化しているのではなく、プロンプトに含まれる微細なヒントから、そのタスクに最適な「重みの補正」を動的に構成していることを示唆している。特に数学やコード生成のような構造的な正確性が求められるタスクにおいて、数個のプロンプトから適切なロジックをモデルに埋め込む能力は、従来のICLでは達成困難であった領域である^1

スケーラビリティとモデルサイズの影響

DnDの生成能力は、0.5Bから7Bパラメータまでの幅広いモデルサイズにわたって一貫したスケーラビリティを示している^1^。7B規模のモデルにおいても、重みの生成に要する時間は1秒未満（約0.73秒）に抑えられており、モデルが大規模化しても「適応のオーバーヘッド」が急増しないことが確認されている^1^。これは、将来的にさらに巨大なモデル（70B以上）への適用を検討する際にも、極めて有望な特性である^1

効率性とリソース利用の分析

DnDの最大の強みは、その圧倒的な計算効率にある。従来のファインチューニングがGPUを数時間占有するのに対し、DnDは「数秒」で専門化されたモデルを提供する。

生成時間とメモリ消費

表3に示すように、DnDのパラメータ生成コストは極めて低い。A100
GPUを使用した場合、7Bモデルの適応に必要なメモリは約20.48GBであり、これは一般的なハイエンドGPUの容量内で十分に収まるものである^1

---

モデルサイズ 生成時間 (秒) メモリコスト ファインチューニング比
(GB)

---

0.5B 0.29 9.59 12,000x 高速化

1.5B 0.45 14.20 12,000x 高速化

3.0B (推定 0.6) (推定 17) 12,000x 高速化

7.0B 0.73 20.48 12,000x 高速化

表3: モデルサイズ別の生成効率分析。データ出典 ^1

この劇的な速度向上は、単なる「効率化」を超えて、AIの運用形態そのものを変える可能性を持つ。例えば、ユーザーがクエリを入力するたびに、そのクエリの文脈に最適化されたモデルを「推論の直前」に生成し、処理が終われば廃棄するという、極めて動的なマルチテナント・システムの構築が可能になるからである^3

関連手法との比較分析

DnDは、パラメータ生成という新興分野において、既存の手法とは一線を画す特徴を備えている。ここでは、特にRPG、T2L、ICLとの比較を通じてその独自性を明らかにする。

DnD vs. 拡散モデル (RPG)

RPG（Recurrent Diffusion for Large-Scale Parameter
Generation）は、拡散プロセスを用いてパラメータを生成する強力なフレームワークであるが、主に画像認識モデルを対象としており、言語プロンプトのような複雑なセマンティック情報の統合には課題があった^11^。また、拡散モデル特有の反復的なサンプリングは、DnDの単一パス畳み込みと比較して生成速度が遅いという欠点がある^1^。DnDは、トランスフォーマー構造に特化したハイパーネットワークを構築することで、言語モデル特有のニーズに応えている^1

DnD vs. インコンテキスト学習 (ICL)

ICLは、モデルの重みを変更せずにプロンプト内で例示を示す手法であり、実装が最も容易である。しかし、ICLは常に「トークンのコスト」と「推論速度の低下」を伴う^2^。DnDは、ICLが必要とするタスク知識を重みの中に直接「焼き付ける（Baking）」ため、推論時には例示トークンを必要とせず、ベースモデルの最高速度で推論を行うことができる^2^。実験では、256ショット以下の設定において、DnDが常にICLの性能を上回ることが確認されている^2

DnD vs. Text-to-LoRA (T2L)

Text-to-LoRA（T2L）もプロンプトからLoRAを生成する手法であるが、主に自然言語によるタスク記述（例：「フランス語に翻訳してください」）に依存している^4^。これに対し、DnDは「ラベルのないデータサンプルそのもの」をプロンプトとして使用する。これにより、明示的なタスク名が不明なドメインや、微妙なニュアンスの差異があるデータ分布に対しても、より精緻な指紋抽出が可能となっている^1

限界、バイアス、および今後の課題

革新的な手法であるDnDにも、克服すべき課題は残されている。これらの限界を理解することは、本技術を実務に適用する際の重要な判断材料となる。

トレーニングデータへの依存性と性能の天井

DnDの生成能力は、学習に使用したLoRAチェックポイントの多様性に制約される^1^。ジェネレータが一度も経験したことのない全く新しいドメインのタスクに遭遇した場合、生成される重みの精度は低下する可能性がある^1^。また、反復的な勾配降下法によるフルファインチューニングと比較した場合、DnDが生成する重みには「性能の天井」が存在する。学習回数を増やしたフルファインチューニングは、最終的にはDnDを上回る性能に到達するが、その代償として膨大な計算時間が必要となる^1

エンコーダの制約と長いプロンプト

現在のプロトタイプでは、プロンプトの埋め込みに使用するSentence-BERT等のエンコーダに512トークンという入力長制限がある^1^。極めて長い文脈を持つドメインや、大量のサンプルをプロンプトとして入力する必要がある場合、これらを適切にスライスして統合する前処理が必要となり、システムの複雑性を増大させる要因となる^1

バイアスと社会的な公平性

パラメータジェネレータは、学習元のデータセットに含まれる潜在的なバイアスを継承するリスクを孕んでいる^1^。バイアスのあるデータで学習されたLoRAチェックポイントを教師データとして使用すれば、ジェネレータは特定のプロンプトに対して「偏った重み」を生成するようになる^15^。今後の研究では、生成プロセスに公平性の制約を組み込む、あるいはアフィン変換等を用いて重み空間を中立化する手法の確立が求められる^15

結論と展望

Drag-and-Drop
LLMsは、モデル適応を「最適化の問題」から「生成の問題」へと再定義した。プロンプトを重みへと直接変換するこのアプローチは、12,000倍という驚異的な速度向上を実現しつつ、ゼロショット環境下で既存手法を凌駕する性能を示した。カスケード型ハイパー畳み込みデコーダによる効率的な設計は、大規模モデルのスケーリングにも耐えうる堅牢な基盤を提供している。

本技術は、リソースの限られた開発者へのAIカスタマイズの開放、リアルタイムでペルソナを切り替える対話システム、さらにはデータの分布に合わせて瞬時に自己進化するインテリジェントなエージェントの実現に向けた大きな一歩である。今後は、さらなるスケーリング則の解明や、マルチモーダル環境での適応精度の向上が期待される。DnDは、重みという静的な資産を動的な「生成モダリティ」へと昇華させ、大規模言語モデルの活用における新たなフロンティアを切り拓いたと言える。

本報告書は、提供された学術論文 ^1^ および関連する研究成果 ^4^
に基づき、専門的な視点から構成されたものである。

引用文献

1. Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights - arXiv, 2月 24,
   2026にアクセス、
   [https://arxiv.org/pdf/2506.16406]{.underline}

2. Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights - Zhiyuan Liang, 2月
   24, 2026にアクセス、
   [https://jerryliang24.github.io/DnD/]{.underline}

3. Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights Synthesis -
   PromptLayer Blog, 2月 24, 2026にアクセス、
   [https://blog.promptlayer.com/drag-and-drop-llms-zero-shot-prompt-to-weights-synthesis/]{.underline}

4. Text-to-LoRA: Instant Transformer Adaption - arXiv, 2月 24,
   2026にアクセス、
   [https://arxiv.org/pdf/2506.06105]{.underline}

5. Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights - arXiv.org, 2月 24,
   2026にアクセス、
   [https://arxiv.org/html/2506.16406v1]{.underline}

6. LLMs Enter the “Drag-and-Drop Era”: Customize a Large Model in
   Seconds with Prompts, Efficiency Soars 12,000 Times - 36氪, 2月 24,
   2026にアクセス、
   [https://eu.36kr.com/en/p/3351182914071431]{.underline}

7. Zhiyuan Liang’s Homepage - Homepage, 2月 24, 2026にアクセス、
   [https://jerryliang24.github.io/]{.underline}

8. Paper Reivews - Daniel Lee, 2月 24, 2026にアクセス、
   [https://www.jeonghwandaniellee.com/paper]{.underline}

9. Zero-Cost Prompt Tweaks - Emergent Mind, 2月 24, 2026にアクセス、
   [https://www.emergentmind.com/topics/zero-cost-prompt-tweaks]{.underline}

10. Cross-LoRA: A Data-Free LoRA Transfer Framework across Heterogeneous
    LLMs - arXiv, 2月 24, 2026にアクセス、
    [https://arxiv.org/html/2508.05232v1]{.underline}

11. NeurIPS Poster Scaling Up Parameter Generation: A Recurrent
    Diffusion Approach, 2月 24, 2026にアクセス、
    [https://neurips.cc/virtual/2025/poster/119814]{.underline}

12. Scaling Up Parameter Generation: A Recurrent Diffusion Approach -
    arXiv, 2月 24, 2026にアクセス、
    [https://arxiv.org/pdf/2501.11587?]{.underline}

13. Scaling Up Parameter Generation: A Recurrent Diffusion Approach -
    arXiv.org, 2月 24, 2026にアクセス、
    [https://arxiv.org/html/2501.11587v2]{.underline}

14. ICML Poster Text-to-LoRA: Instant Transformer Adaption, 2月 24,
    2026にアクセス、
    [https://icml.cc/virtual/2025/poster/43471]{.underline}

15. Track: San Diego Poster Session 6 - NeurIPS, 2月 24,
    2026にアクセス、
    [https://neurips.cc/virtual/2025/loc/san-diego/session/128336]{.underline}

16. Daily Papers - Hugging Face, 2月 24, 2026にアクセス、
    [https://huggingface.co/papers?q=zero-shot%20prompts]{.underline}