• 分析
  • 特定
  • レポート
  • 人間による操作

AIを使ってRAGの実験結果を比較する方法 Ragas MCPコネクター

RagasをAIクライアントに接続することで、異なるモデルのバージョンやプロンプト設定によるパフォーマンスの違いを分析できます。

このページについてAIに聞く

すぐに答え

AIでどのようにRAGの実験を比較できるのか？

特定の実験データやメトリクスの結果をチャットに直接取り込み、並べて比較できます。どの設定が最も高いスコアを出したかの分析はAIが行います。検索や生成の変更が、パフォーマンスにどう影響したかを明確に把握できます。

分析の出力結果

分析によって得られる成果

AIはRagasのデータを整理し、以下の形式で結果を提示します。

分析

パフォーマンス比較

実行した各バージョンの結果をAIが取得し、それぞれの違いを正確に示します。

特定

最適な実行結果の特定

目標とするメトリクスを最も安定して達成している設定を、AIが特定します。

レポート

結果の要約

記録されたすべての実験におけるメトリクスの内訳を、分かりやすくまとめます。

人間による操作

手動チューニング

AIがRAGパイプラインの弱点を指摘します。それに基づき、次にどのプロンプトやモデルを変更するかは、あなたが判断します。

ワークフロー

データが届いた後のAIの動き

AIがRAG評価のデータアナリストとして機能します。

  1. 実行履歴の検索

    AIがRagasの履歴をスキャンし、比較したい特定のテストスイートを見つけ出します。

    list_experiments

  2. 実験の選択

    実行対象を選ぶと、AIはそのテストの具体的な設定詳細を取得します。

    get_experiment

  3. メトリクスの取得

    完了した実行結果から、実際のスコアや評価データを取得します。

    get_results

  4. パフォーマンス比較

    取得した結果に基づき、忠実性や関連性などの違いを浮き彫りにします。

    get_results

試してみる

以下のプロンプトをコピーして開始

分析を開始するには、これらのプロンプトを利用してください。

出発点

実験名やIDの部分を、実際のRagasの実行識別子に書き換えて使用してください。

Ragas Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_mQUV7klN4rh09rRcp9ld3cwceCP25oL5Lk8res4B/mcp

Claude Desktop

以下の手順で数秒で接続できます。

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Ragas capabilities are ready to use.
設定 · claude_desktop_config.jsonコピー
{
  "mcpServers": {
    "ragas-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_mQUV7klN4rh09rRcp9ld3cwceCP25oL5Lk8res4B/mcp"
    }
  }
}
チャットにコピー04

  • 比較対象を選べるよう、最近のRAG実験をすべてリストアップして。

  • 実験 'rag_v1_test' と 'rag_v2_test' の結果を比較して。

  • 実験名 'production_baseline' の結果を表示して。

  • リストの中で、最も忠実性（faithfulness）スコアが高い実験はどれ？

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

ここから始める

Ragasを接続して、すぐに質問を開始

Ragasアカウントを連携するだけです。認証情報は暗号化されて保護されるため、すぐに実験データについてAIに質問できるようになります。

RagasをAIに接続する

FAQ

機能の詳細について

  • 01

    AIが実験の設定を変更することはできますか？

    いいえ。AIができるのは既存の実験データの読み取りと分析のみです。設定の変更は、Ragas環境側で手動で行う必要があります。

  • 02

    AIが古い実験結果を削除することはできますか？

    いいえ。このMCPは実験データの読み取り専用です。Ragasの記録を削除したり、書き換えたりすることはできません。

  • 03

    異なる2つのRAGフレームワークを比較できますか？

    はい。両方の実験データがRagasに記録されており、コネクター経由でアクセス可能であれば比較可能です。

  • 04

    メトリクスの計算自体をAIが行うのですか？

    いいえ。AIはRagasによって計算済みのメトリクスを取得し、その内容を解釈して提示します。

  • 05

    特定の実行における生データを確認できますか？

    はい。指定した実験の具体的な結果をAIが取得して表示できます。

  • Ragasに関するその他の質問 Ragas MCPコネクターの全機能を見る

『Ragas』を Claude、Cursor、ChatGPT などに接続