promptfoo

プロンプト/LLM の評価 (eval) を回す CLI ツール。

npm install promptfoo
npx promptfoo eval

プロンプトやモデルの組み合わせを表形式で比較評価する。実行トレースを観測する langfuse / llm-observability と組み合わせ、品質改善のループを構成する。

関連

• llm-agent-pattern
• _moc-llm-agent