• LATENCY
  • EVENTS
  • ROOT CAUSE
  • HUMAN

AIを活用してLLMのレイテンシ急増をデバッグする方法

New Relic AIをエージェントに接続することで、アプリケーションの動作を遅延させているモデル呼び出しを正確に特定できます。

このページについてAIに聞く

すぐに答え

LLMの呼び出しが遅い原因を特定するには?

エージェントがレイテンシのメトリクスとイベントログを取得し、遅延を引き起こしている正確な呼び出しを特定します。パフォーマンスのボトルネックとその原因となった具体的なイベントデータを詳細に把握できます。

調査結果の出力

データの活用方法

AIがオブザーバビリティデータを、実行可能なカテゴリに整理します。

LATENCY

遅延の特定

エージェントがレイテンシのメトリクスを使用して異常値を検出します。どのモデルリクエストが閾値を超えているかを可視化します。

EVENTS

エラーの追跡

エージェントがイベントデータを取得し、スパイク発生時の状況を明らかにします。障害の原因を理解するために必要なコンテキストを提供します。

ROOT CAUSE

ボトルネックの特定

AIがタイミングデータとイベントログを照合します。遅延がモデル、ネットワーク、またはペイロードのどこにあるのかを突き止めます。

HUMAN

手動調査への移行

AIがNew Relicダッシュボードでの詳細な調査が必要な問題をフラグ立てします。チャットからフルUIへ切り替えるタイミングを判断できます。

ワークフロー

レイテンシ急増が発生した際、AIが行うこと

エージェントは、チャットインターフェースとNew Relicのテレメトリを繋ぐ架け橋となります。

  1. 遅延の走査

    エージェントが最新のテレメトリを確認し、レスポンスタイムの急増を検出します。

    query_llm_latency
  2. ログの調査

    遅延が発生したタイムスタンプに関連する特定のイベントデータを取得します。

    query_llm_events
  3. データの照合

    エージェントがレイテンシの数値とイベントの詳細を照らし合わせ、パターンを見つけ出します。

    query_llm_latencyquery_llm_events
  4. 調査結果の要約

    エージェントが、問題となった呼び出しとその影響を明確なリストとして提示します。

    query_llm_latency

試してみる

以下のプロンプトをコピーして開始

これらのプロンプトを使って調査を開始できます。

出発点

括弧内のテキストは、実際のサービス名や時間範囲に書き換えて使用してください。

New Relic AI Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_oqdaAroeFoXBv9yPI4WsHZZZZZuzqhwVoSn1YCyq/mcp

Claude Desktop

以下の手順で数秒で接続できます。

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — New Relic AI capabilities are ready to use.
設定 · claude_desktop_config.jsonコピー
{
  "mcpServers": {
    "new-relic-ai-llm-observability-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_oqdaAroeFoXBv9yPI4WsHZZZZZuzqhwVoSn1YCyq/mcp"
    }
  }
}
チャットにコピー04
  • 過去1時間における production-api サービスの LLM レイテンシの急増を教えてください。

  • 今日、'chat-completion' モジュール内で最もレイテンシが高かった特定のモデル呼び出しは何ですか?

  • 午前10時15分に発生したレイテンシ急増に関するイベントデータを抽出してください。

  • 直近のログにおける GPT ベースの呼び出しと Llama ベースの呼び出しのレイテンシを比較してください。

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

ここから始める

New Relic AIを一度接続すれば、すぐに質問できます。

一度接続するだけで、エージェントがオブザーバビリティデータにアクセスできるようになります。認証情報は暗号化され、安全に管理されます。

New Relic AIをAIに接続する

FAQ

動作に関する詳細

  • 01

    AIはレイテンシの問題を自動的に修正できますか?

    いいえ。AIはレイテンシとイベントデータを読み取り、何が起きているかを伝えるのみです。コードの修正はユーザー自身が行う必要があります。

  • 02

    AIは古いテレメトリデータを削除できますか?

    いいえ。エージェントにはデータのクエリ権限のみが付与されており、New Relic内のデータを変更または削除することはできません。

  • 03

    AIを利用するためにNew Relicのログイン情報は必要ですか?

    いいえ。Vinkiusを通じてMCPを接続するため、接続は安全に処理されます。

  • 04

    AIはすべてのNew Relicデータにアクセスできますか?

    いいえ。提供されたツールを通じて、LLMのレイテンシおよびイベントに関連するデータにのみアクセス可能です。

  • 05

    どの呼び出しが遅いのか、どのように判断しますか?

    レイテンシツールを使用して、通常のベースラインを超えているレスポンスタイムをスキャンします。

  • New Relic AIに関するその他の質問は、コネクタのページで確認できます。 New Relic AI Connectorの全機能を見る

『New Relic AI』を Claude、Cursor、ChatGPT などに接続