• DATA
  • QUEUE
  • HUMAN
  • REPORT

AIを活用して評価データセットの監査を自動化する方法

LangSmithをAIクライアントに接続して、テストパイプラインを監視しましょう。データの検査やキューの管理といった重労働は、すべてAIエージェントが引き受けます。

このページについてAIに聞く

すぐに答え

AIでどのように評価データセットを監査できますか？

お使いのAIクライアントが、LangSmithから既存のデータセットやアノテーションキューを直接取得します。AIはデータの不整合や低品質なラベルをスキャンし、手動での確認が必要な項目を特定します。評価データのどこに問題があるのか、どこで人間による介入が必要なのかを、一目で把握できるようになります。

監査結果の分類

検出された情報の出力先

AIは検出した内容を以下のカテゴリに整理します。

DATA

データセットの健全性チェック

既存のデータセットから外れ値や繰り返されるパターンを特定します。データ品質の要約を確認できます。

QUEUE

アノテーションの状況

アノテーションキューの現在の状態を確認します。どのタスクが停滞しているか、保留中かを特定します。

HUMAN

手動レビューのフラグ立て

品質基準を満たさない特定の行やエントリを特定します。これらは人間による確認が必要な項目として通知されます。

REPORT

監査サマリー

データセットのカバー範囲やラベルの分布を詳細にレポートします。追加データが必要かどうかの判断に役立ちます。

ワークフロー

監査開始時にAIが行うこと

AIがLangSmith環境内を探索し、問題の特定とフラグ立てを行います。

  1. データセットのインベントリ作成

    LangSmithアカウント内を検索し、検査対象となる特定のデータセットを見つけ出します。

    list_datasets

  2. アノテーションキューの確認

    Human-in-the-loopキューの現在のステータスを取得し、作業中のタスクを確認します。

    list_annotation_queues

  3. データの欠落を特定

    データセットを評価目標と比較し、不足しているエッジケースを見つけ出します。

    list_datasets

  4. 手動タスクのフラグ立て

    ラベルの検証に人の手が必要な項目を、キューの中から特定してマークします。

    list_annotation_queues

試してみる

以下のプロンプトをコピーして開始

これらのプロンプトを使って監査を開始できます。

出発点

これらはあくまで例です。実際のLangSmithのデータセット名やキュー名に書き換えて使用してください。

LangSmith Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_ixIJrwVWDWlC1bEOf4IyffAPgAEw302Ns6BE1oLo/mcp

Claude Desktop

以下の手順で数秒で接続できます。

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — LangSmith capabilities are ready to use.
設定 · claude_desktop_config.jsonコピー
{
  "mcpServers": {
    "langsmith-llm-observability-hub-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_ixIJrwVWDWlC1bEOf4IyffAPgAEw302Ns6BE1oLo/mcp"
    }
  }
}
チャットにコピー04

  • すべてのLangSmithデータセットをリストアップして、最後に更新されたものがどれか教えてください。

  • アノテーションキューを確認して、保留中のアイテムが最も多いものを教えてください。

  • 「model_eval_v2」データセットを確認し、ラベルが矛盾しているエントリを見つけてください。

  • LangSmith内の「human_review_queue」の現在の進捗状況を要約してください。

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

ここから始める

LangSmithを一度接続すれば、あとは聞くだけです。

Vinkiusを通じてLangSmithアカウントを連携させるだけです。認証情報は暗号化されて保護されるため、すぐにAIへデータの質問を開始できます。

LangSmithをAIに接続する

FAQ

機能に関する詳細

  • 01

    AIはLangSmith内のデータセットを削除できますか？

    いいえ。AIができることはデータセットやキューのリスト取得と読み取りのみです。LangSmith内のデータを削除したり変更したりすることはできません。

  • 02

    AIは人間に新しいタスクを割り当てられますか？

    いいえ。AIは既存のアノテーションキューをリストアップすることしかできません。新しいタスクを作成したり、作業担当者を変更したりすることはできません。

  • 03

    AIはどのデータセットを監査すべきかどうやって判断しますか？

    ユーザーが指示します。特定のデータセット名を指定するか、すべてのリストを表示させてから選択するように指示してください。

  • 04

    AIにAPIキーは見えますか？

    いいえ。Vinkiusが接続を安全に管理します。AIクライアントは、MCPによって提供されるツールとやり取りするだけです。

  • 05

    これを使って自動評価（Evals）を実行できますか？

    AIは評価に使用するデータの準備や監査を支援しますが、モデルの評価プロセス自体を直接実行するものではありません。

  • LangSmithについてもっと知りたいですか？ LangSmith Connectorの全機能を見る

『LangSmith』を Claude、Cursor、ChatGPT などに接続