LLM Ops

• LLMOps に入門してみた

  • MLOps

• OpenAI Agents SDKもOtelでない独自のトレース機能を持っているらしい

  • トレーシング - OpenAI Agents SDK
  • LLM Agent 標準化/MCP/ライブラリ欲張り幕内弁当

• langfuse, Agents SDKも Otelもサポートしている?

  • Trace the OpenAI Agents SDK with Langfuse - Langfuse
  • Open Source LLM Observability via OpenTelemetry - Langfuse
    • Changelog - Langfuse 2月にサポートしたのか

• OpenTelemetryのSpan属性やEventを設定すればCloud Traceに生成AI用の情報を表示できるよ

  • GenAI向けのOpenTelemetry SemanticsとCloud Traceへの表示
  • 対応しているproductは無い?
    • traceloop/openllmetry でも未実装

    • 実際にはこれらはFrameworkのレイヤーで設定されるべきですが、OSSの実装を見る限りでは、ADK含めて、まだこれらの定義が利用されているものは見かけません。

    • span属性として送信するべきか、Eventとして送信するべきか議論の最中

    • 議事録 https://docs.google.com/document/d/1EKIeDgBGXQPGehUigIRLwAUpRGa7-1kXB736EaYuJ2M/edit?tab=t.0#heading=h.ylazl6464n0c