AIを使ってモデルのパフォーマンスを監視する方法 Braintrust MCP

AIがBraintrustにクエリを送り、実験スコアやプロジェクト分析データを取得します。これらの指標を比較することで、最新の変更が挙動にどのような影響を与えたかを正確に把握できます。仕組みは以下の通りです。

1. 01

   プロジェクトの特定

   調査対象となる特定のBraintrustプロジェクトをAIが見つけ出します。

   list_projects
2. 02

   実験スコアの取得

   直近のテスト実行から、特定の指標やスコアを抽出します。

   list_experiments
3. 03

   バージョンの比較

   エージェントが異なる実験結果を照合し、パフォーマンスの差異を算出します。

   list_experiments
4. 04

   分析結果の報告

   AIがプロジェクトの分析結果を要約し、挙動がどのように変化したかを説明します。

   list_projects

Braintrust Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcpコピー

Claude Desktop

以下の手順で数秒で接続できます。

1. 1In Claude Desktop, open Settings → Connectors.
2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
3. 3Click Add and start a new chat — Braintrust capabilities are ready to use.

設定 · claude_desktop_config.jsonコピー

{
  "mcpServers": {
    "braintrust-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcp"
    }
  }
}

• Claude
• ChatGPT
• Cursor
• VS Code
• Windsurf
• Claude Code
• JetBrains
• Cline

わずか1ステップでアカウントを接続できます。認証情報は弊社側で暗号化して保持されるため、すぐにAIへモデルのパフォーマンスについて質問を開始できます。

• 01

  AIが実験の設定を変更することはできますか？

  いいえ。AIはプロジェクトや実験データの読み取りのみが可能であり、Braintrustの設定を書き換えることはできません。

• 02

  AIがテスト実行データを削除することはできますか？

  いいえ。このMCPは、実験およびプロジェクトに対する読み取り専用の権限のみを持ちます。

• 03

  AIはどのプロジェクトを見るべきか、どうやって判断しますか？

  まず list_projects ツールを使用して利用可能なプロジェクトを確認します。その後、あなたがどのプロジェクトに焦点を当てるかを指示してください。

• 04

  どのようなAIクライアントでも動作しますか？

  はい。Claude、Cursor、Windsurfなど、MCPに対応しているクライアントであればすべて動作します。

• 05

  AIが新しい実験を作成することはできますか？

  いいえ。AIができることは、既存の実験のリスト表示とクエリの実行のみです。

• Braintrustについてさらに詳しく知りたいですか？ Braintrust Connectorの全機能を見る