AIを活用してモデルの出力品質を自動でモニタリングする方法

AIが query_llm_feedback ツールを使用して、New Relicから星評価とテキストコメントを取得します。パフォーマンスが低下したパターンを特定し、モデルがユーザーの期待に応えられていない箇所を明確に示します。

1. 01

   フィードバックの取得

   New Relicから最新のユーザー星評価とテキストコメントを取得します。

   query_llm_feedback
2. 02

   品質低下の特定

   現在の評価を過去のベンチマークと比較し、急激な品質低下を見つけ出します。

   query_llm_feedback
3. 03

   不満内容の要約

   類似したユーザーコメントをグループ化し、低評価の主な原因を可視化します。

   query_llm_feedback
4. 04

   重要課題の抽出

   重大なバグやシステム障害の可能性があるフィードバックを特定し、強調表示します。

   query_llm_feedback

New Relic AI Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_oqdaAroeFoXBv9yPI4WsHZZZZZuzqhwVoSn1YCyq/mcpコピー

Claude Desktop

以下の手順で数秒で接続できます。

1. 1In Claude Desktop, open Settings → Connectors.
2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
3. 3Click Add and start a new chat — New Relic AI capabilities are ready to use.

設定 · claude_desktop_config.jsonコピー

{
  "mcpServers": {
    "new-relic-ai-llm-observability-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_oqdaAroeFoXBv9yPI4WsHZZZZZuzqhwVoSn1YCyq/mcp"
    }
  }
}

• Claude
• ChatGPT
• Cursor
• VS Code
• Windsurf
• Claude Code
• JetBrains
• Cline

認証情報は一度入力するだけです。接続は安全に保護され、すぐにエージェントへモデルの品質について質問できるようになります。

• 01

  AIがモデルのプロンプトを自動で修正することはできますか？

  いいえ。AIは問題の特定とフィードバックの要約を行いますが、プロンプトやコードの更新は手動で行う必要があります。

• 02

  AIがNew Relic内のフィードバックを削除することはありませんか？

  はい、ありません。AIは query_llm_feedback ツールを使用してデータを読み取るだけです。既存のレコードを変更したり削除したりすることはできません。

• 03

  リアルタイムのストリーミングデータのモニタリングに使用できますか？

  AIはNew Relicに記録されているフィードバックデータを照会して動作します。すでに記録されたデータを分析する仕組みです。

• 04

  評価が低下したときにAIから通知は届きますか？

  AIから能動的なアラートは送信されません。品質低下の確認やフィードバックの要約が必要な際は、エージェントに指示を出してください。

• 05

  AIはNew Relicのダッシュボード全体にアクセスできますか？

  いいえ。AIがアクセスできるのは、query_llm_feedback ツールを通じて提供される特定のLLMフィードバックデータのみです。

• New Relic AIに関するその他の質問は、コネクタのページで確認できます。 New Relic AI Connectorの全機能を見る