AIを活用してモデル評価用データセットを管理する方法

AIがArize AIを利用して、モデル検証用の新しいデータセットを作成したり、既存のリストを取得したりします。チャットで指示を出すだけで、生のデータから整理された評価セットへとスムーズに移行できます。新しいモデルバージョンの性能を、特定のベンチマークに沿って構造的に追跡できるようになります。

1. 01

   既存データのスキャン

   AIがArize AIのアカウントを確認し、すでに保存されているデータセットを特定します。

   list_datasets
2. 02

   新しいセットの構築

   必要なデータの詳細を伝えると、AIが特定のモデルバージョンに合わせた新しいデータセットを生成します。

   create_dataset
3. 03

   テスト用に整理

   AIが作成ツールを使い、検証ワークフローに最適化された形でデータを構造化します。

   create_dataset
4. 04

   作成の確認

   AIが、新規または既存のデータセットがアカウント内に正しく配置されたことを確認します。

   list_datasets

Arize AI Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_wKJSgGsb2EgJmks5PzM3V0jknb7nFZgbwB0CaRFP/mcpコピー

Claude Desktop

以下の手順で数秒で接続できます。

1. 1In Claude Desktop, open Settings → Connectors.
2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
3. 3Click Add and start a new chat — Arize AI capabilities are ready to use.

設定 · claude_desktop_config.jsonコピー

{
  "mcpServers": {
    "arize-ai-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_wKJSgGsb2EgJmks5PzM3V0jknb7nFZgbwB0CaRFP/mcp"
    }
  }
}

• Claude
• ChatGPT
• Cursor
• VS Code
• Windsurf
• Claude Code
• JetBrains
• Cline

アカウントの連携は一度だけで済みます。認証情報は暗号化されて安全に保管されるため、すぐに使い慣れたAIクライアントからデータ管理を開始できます。

• 01

  AIは既存のデータセットを削除できますか？

  いいえ。AIにはデータセットのリスト取得と作成を行うツールのみが提供されています。データの削除や上書きはできません。

• 02

  どのモデルバージョンが優れているかの判断はAIが行いますか？

  いいえ。AIはテストに使用するデータセットを管理しますが、実際の評価と意思決定はユーザーが行う必要があります。

• 03

  AIを通じてデータセットの内容を確認できますか？

  いいえ。AIはデータセットの一覧表示や新規作成はできますが、データセット内の個々の行やエントリを読み取るツールは持っていません。

• 04

  データセットが正常に作成されたかどうかはどうすればわかりますか？

  作成ツールが完了すると、AIがその旨を報告します。また、AIにデータセットの一覧を表示させて、目的のものが含まれているか確認することも可能です。

• 05

  AIはローカルファイルに接続してデータセットを作成できますか？

  いいえ。AIは提供されたツールを使用してArize AIとやり取りすることしかできません。ローカルのハードドライブや他の外部アプリからデータを取得することはできません。

• Arize AIについて他に質問がありますか？ Connectorのページで回答しています。 Arize AI Connectorの全機能を見る