• 実行
  • 指標
  • 結果
  • 操作

AIクライアントでRAGの評価を実行する方法：Ragas MCPコネクタを活用

Ragasを一度接続するだけで、エージェントがRAGパイプラインのテストを実行し、その結果をチャットに直接表示できるようになります。

このページについてAIに聞く

すぐに答え

AIを通じてどのようにRAGの評価を行えますか？

エージェントに特定のデータセットの評価を指示するだけで、Ragasが忠実度（faithfulness）や関連性（relevancy）などのスコアを算出します。結果はすぐにチャットウィンドウに表示されるため、ワークスペースを離れることなく、プロンプトやコンテキストの取得プロセスを繰り返し改善できます。

得られる成果

評価データの活用方法

複雑な計算やデータ処理はすべてAIが担当します。

実行

新しいテストサイクル

AIが指定されたデータセットに対して新しい評価を実行します。テストのたびにクリーンな状態で検証が可能です。

指標

利用可能なスコアの種類

現在の設定でどの指標が利用できるかをエージェントが確認します。これにより、何を測定すべきかを判断しやすくなります。

結果

パフォーマンススコア

最終的なスコアはAIによってチャットに直接取り込まれます。RAGシステムの性能を正確に把握できます。

操作

手動による調整

テストするデータセットや重要な指標は、すべてあなたが決定します。指示なしにAIが元のデータやテストパラメータを変更することはありません。

ワークフロー

評価を依頼した際、AIが行うプロセス

AIはチャットインターフェースとRagasエンジンの橋渡し役となります。

  1. 指標の特定

    AIが、特定のRAGタスクでサポートされている評価指標を確認します。

    list_metrics

  2. テストの開始

    指定されたデータセットを使用して、AIが評価プロセスを開始します。

    run_evaluation

  3. スコアの取得

    計算が完了すると、AIが結果となるパフォーマンスデータを取得します。

    get_results

  4. 結果の報告

    AIが最終スコアと指標の内訳をチャットウィンドウに提示します。

    get_results

試してみる

以下のプロンプトをコピーして開始しましょう。

これらのプロンプトを使って、最初の評価を開始できます。

出発点

括弧内のテキストは、実際のデータセット名や特定の指標名に書き換えてください。

Ragas Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_mQUV7klN4rh09rRcp9ld3cwceCP25oL5Lk8res4B/mcp

Claude Desktop

以下の手順で数秒で接続できます。

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Ragas capabilities are ready to use.
設定 · claude_desktop_config.jsonコピー
{
  "mcpServers": {
    "ragas-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_mQUV7klN4rh09rRcp9ld3cwceCP25oL5Lk8res4B/mcp"
    }
  }
}
チャットにコピー04

  • 'customer_support_v2' データセットに対して評価を実行して。

  • このデータセットでRagasを使って利用できる指標は何ですか？

  • 最後に実行した評価の結果を教えて。

  • 'product_docs_final' に対して、忠実度と関連性の指標を使って新しい評価を実行して。

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

ここから始める

Ragasを接続して、すぐに指示を。

ワンクリック設定に従うだけで、Ragasをクライアントに連携できます。認証情報はVinkius側で暗号化され、安全に管理されます。

RagasをAIに接続する

FAQ

Ragasコネクタの動作について

  • 01

    AIが元のデータセットを変更することはありますか？

    いいえ。AIは評価を実行するためにデータセットを読み取ることはできますが、元のデータを修正または削除することはできません。

  • 02

    任意のファイルに対して評価を実行できますか？

    いいえ。AIが評価を実行できるのは、Ragasの接続を通じてアクセス可能なデータセットのみです。

  • 03

    指標はAIが自動的に選びますか？

    AIはリスト機能を使って指標を提案できますが、特定の実行においてどの指標を使用するかは、あなたが指示する必要があります。

  • 04

    AIがRAGパイプラインを自動的に修正してくれますか？

    いいえ。AIはスコアを提示し、問題箇所を特定しますが、コードやデータの実際の修正はあなた自身が行う必要があります。

  • 05

    スコアはどのように確認できますか？

    AIに対して、直近の評価実行の結果を取得するように指示するだけです。

  • Ragasに関するその他の質問 Ragasコネクタの全機能を見る

『Ragas』を Claude、Cursor、ChatGPT などに接続