BraintrustをChatGPT、Claude、Geminiに接続

• 01 / 03データセットを拡張する
• 02 / 03パフォーマンスの監視方法
• 03 / 03プロンプトの精度低下をテストする方法

最速日

672ms

最遅日

1082ms

14日間の傾向

安定+3%

Braintrust Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcpコピー

Claude Desktop

以下の手順で数秒で接続できます。

1. 1In Claude Desktop, open Settings → Connectors.
2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
3. 3Click Add and start a new chat — Braintrust capabilities are ready to use.

設定 · claude_desktop_config.jsonコピー

{
  "mcpServers": {
    "braintrust-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcp"
    }
  }
}

• Claude
• ChatGPT
• Cursor
• VS Code
• Windsurf
• Claude Code
• JetBrains
• Cline

各クライアントの手順ガイドはこちらです。 接続方法

Claude向けのガイド付きセットアップ？ BraintrustをClaudeや他のAIに設定する

このConnectorが対応するすべてのAIクライアントを見る ↑

• 01

  AIデベロッパー

  プロンプトの違いをテストするために、Ground Truth評価用テキストデータセットを即座に投入したい開発者。

• 02

  機械学習エンジニア

  特定の変数分布を追跡し、リモートで正確な回帰分析を確認したいエンジニア。

• 03

  プロダクトチーム

  動的にプロンプトを操作し、レスポンスのスタイルを検証して新機能をリリースしたいチーム。

• 01

  Which AI clients can use this Braintrust MCP?

  You can use this with any MCP-compatible client, including Claude, Cursor, and Windsurf.

• 02

  Do I need to write code to run evaluations?

  No. Once connected, your agent uses the capabilities to run experiments and query datasets through natural language.

• 03

  How does this handle prompt versioning?

  The MCP allows your agent to pull specific, version-controlled prompts from Braintrust, ensuring you use the exact text templates you need.

• 04

  Can I add new data to my datasets?

  Yes. You can use the insert_dataset_row capability to append new test cases to your existing matrices.

• 05

  Is my Braintrust data secure?

  Yes. Vinkius hosts the MCP and manages your credentials, allowing you to connect your API keys securely to your agent.

• 06

  Can I insert new test data dynamically tracking specific limits?

  Yes. Utilizing the insert_dataset_row method, you can effortlessly inject exact JSON tracking payload mapping strings directly inside the text corpus evaluating the final results.

• 07

  Does it pull out original Prompt definitions stored securely?

  Certainly. The get_prompt command isolates and returns perfectly version-controlled bounding parameters slicing literal templates natively hosted under the Braintrust database.

• 08

  How deeply can it inspect test regressions or scoring limits?

  Using the robust list_experiments call, you can branch full arrays separating LLM version behaviors over massive iterations tracking the performance anomalies accurately.

• 

  Datadog AI (LLM Observability) AIコネクタ

  Monitor LLM performance via Datadog — track token usage, audit prompts, and monitor AI model metrics directly

  表示
• 

  LangSmith (LLM Observability & Hub) AIコネクタ

  Monitor LLM apps via LangSmith — track traces, audit prompt templates, and manage evaluation datasets.

  表示
• 

  Katalon TestOps (AI Test Management) AIコネクタ

  Manage test orchestration via Katalon TestOps — rerun test runs, monitor execution results, and audit software

  表示
• 

  Langfuse (LLM Tracing & Evals) AIコネクタ

  Monitor LLM apps via Langfuse — track traces, manage prompt templates, and audit evaluation scores.

  表示

おすすめ

• 

  Data Pipeline Prover AIコネクタ

  A data team asked an AI to build an ETL pipeline. No schema contract. No idempotency. No freshness SLA. The pi

  表示
• 

  Chi-Square Test Engine AIコネクタ

  Run exact Chi-Square independence tests on contingency tables local. Get CPU-guaranteed chi² statistics and p-

  表示
• 

  Humanloop (LLM Prompt Management API) AIコネクタ

  Manage, version, and deploy LLM prompts directly from your AI agent using the Humanloop API.

  表示
• 

  Hevo Data (ETL & Data Pipeline) AIコネクタ

  Manage data pipelines via Hevo — list pipelines, monitor destinations, and track usage.

  表示