AIを活用してLLMプロンプトのエラーをデバッグする方法

エージェントがDatadogのトレースデータを使用して、LLM呼び出しに関連する特定のスパンとペイロードを抽出します。これにより、プロンプトのロジックエラーが発生した正確な瞬間を特定できます。問題を引き起こした具体的な入力と出力の内容を確認可能です。

1. 01

   トレースの特定

   Datadogのトレース内から、特定のLLM実行スパンを検索します。

   search_llm_spans
2. 02

   ペイロードの抽出

   特定したスパンから、具体的な入力および出力データを抽出します。

   search_llm_spans
3. 03

   ロジックの分析

   モデルに送信されたプロンプトと、その結果生じたエラーや予期しない出力を比較します。

   search_llm_spans
4. 04

   エラーの要約

   プロンプトが要件を満たせなかった理由を、簡潔な内訳として提示します。

   search_llm_spans

Datadog Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_bWdhwHEHDioKsLvhV1Lvv7ec4t2gm8k5cIgCZeWx/mcpコピー

Claude Desktop

以下の手順で数秒で接続できます。

1. 1In Claude Desktop, open Settings → Connectors.
2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
3. 3Click Add and start a new chat — Datadog capabilities are ready to use.

設定 · claude_desktop_config.jsonコピー

{
  "mcpServers": {
    "datadog-ai-llm-observability-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_bWdhwHEHDioKsLvhV1Lvv7ec4t2gm8k5cIgCZeWx/mcp"
    }
  }
}

• Claude
• ChatGPT
• Cursor
• VS Code
• Windsurf
• Claude Code
• JetBrains
• Cline

Datadogアカウントを連携するだけです。認証情報は暗号化されて保持されるため、すぐにエージェントに対してトレースに関する質問を開始できます。

• 01

  AIはDatadog内のプロンプトを直接修正できますか？

  いいえ。AIができるのはトレースを読み取り、何が問題だったのかを伝えることだけです。プロンプトのロジックの更新は、ご自身のコードベースで行う必要があります。

• 02

  AIはトレースを削除することはありますか？

  いいえ。AIは検索ツールを通じてLLMスパンを読み取る権限しか持っていません。Datadogのデータを変更したり削除したりすることはできません。

• 03

  特定のメッセージを指定して検索できますか？

  はい。トレースに含まれる特定の文字列やステータスコードを含むスパンを、エージェントに探させることは可能です。

• 04

  どのLLMプロバイダーでも動作しますか？

  オブザーバビリティのために、そのトレースをDatadogに送信している限り、どのLLMプロバイダーでも動作します。

• 05

  AIは新しいDatadogモニターを作成できますか？

  いいえ。現在のツールでは、エージェントが既存のLLMスパンを検索および調査することのみが可能です。

• Datadog AIについてさらに詳しく知りたいですか？ Datadog AI Connectorの全機能を見る