AIを活用してBraintrustの評価データセットを拡張する方法

AIクライアントに対して、既存のBraintrustマトリックスに特定の行や新しいテストケースを追加するよう指示するだけです。AIが自然言語の指示を理解し、現在のデータを取得した上で、新しい正解データを直接セットに書き込みます。CSVを手動でアップロードする手間なく、テストデータのライブラリを拡張できます。

1. 01

   既存データの取得

   エージェントが現在の評価セットを参照し、既存の入力値と期待される出力値を理解します。

   get_dataset
2. 02

   新しい行の準備

   AIが自然言語による指示を、データセットの要件に適合する構造化された行へと変換します。

   get_dataset
3. 03

   テストケースの挿入

   エージェントが新しい正解データをBraintrustのマトリックスに書き込みます。

   insert_dataset_row
4. 04

   更新の確認

   AIが新しい行がデータセットに正常に追加されたことを確認します。

   insert_dataset_row

Braintrust Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcpコピー

Claude Desktop

以下の手順で数秒で接続できます。

1. 1In Claude Desktop, open Settings → Connectors.
2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
3. 3Click Add and start a new chat — Braintrust capabilities are ready to use.

設定 · claude_desktop_config.jsonコピー

{
  "mcpServers": {
    "braintrust-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcp"
    }
  }
}

• Claude
• ChatGPT
• Cursor
• VS Code
• Windsurf
• Claude Code
• JetBrains
• Cline

アカウントを一度連携するだけで準備完了です。認証情報は暗号化されて保護されるため、すぐにAIクライアントからデータセットの管理を開始できます。

• 01

  AIはデータセットから行を削除できますか？

  いいえ。AIができることはデータの取得と新しい行の挿入のみです。既存のデータを削除したり、内容を書き換えたりすることはできません。

• 02

  どのテストケースが正しいかをAIが自動的に判断しますか？

  いいえ。AIは正解データの候補を提示できますが、評価セットに実際に反映させるかどうかを決定するのはユーザーです。

• 03

  これを使って評価（Evaluation）を実行できますか？

  いいえ。このコネクターの目的はデータセット内のデータを管理することであり、評価プロセスそのものを実行するためのものではありません。

• 04

  事前にデータをCSV形式にする必要がありますか？

  いいえ。新しいテストケースを自然な言葉で説明するだけで、AIがデータセットに適した形式に整えます。

• 05

  既存の行に誤りを見つけた場合、AIで更新できますか？

  いいえ。現在のツールでは新しい行の挿入のみが可能です。誤りを修正するには、修正版を新しく追加するか、BraintrustのUIから直接操作してください。

• Braintrustに関するその他の質問 Braintrust Connectorの全機能を見る