• 指標
  • 乖離
  • データ
  • 人間による確認

LLM ROUGE & BLEU EvaluatorでRAGの検索精度を検証する

このMCPをエージェントに接続することで、モデルの出力と正解データの比較を自動化できます。

このページについてAIに聞く

すぐに答え

RAGの検索が正しく機能しているか確認するには？

モデルの回答と正解データを評価ツールに入力するだけで、具体的な重なり具合（スコア）が得られます。これにより、パイプラインがどれだけ正確に正しいコンテキストを捉えられているかが明確になります。言語的な類似度や内容の一致度に関する詳細な内訳も確認可能です。

評価結果の内容

得られる分析結果

AIがデータを処理し、以下の具体的な結果を算出します。

指標

数値による類似度スコア

評価ツールを用いてROUGEおよびBLEUスコアを算出します。生成されたテキストがソースにどれだけ近いかを、数学的な数値で把握できます。

乖離

コンテキストの不一致

検索されたコンテキストが回答を裏付けられていない箇所をエージェントが特定します。モデルのハルシネーションや、重要な事実の見落としが判明します。

データ

比較レポート

AIが機械の出力と正解データの比較を整理します。データの重なり具合を構造化された形で確認できます。

人間による確認

手動レビューの推奨

スコアが低いペアをAIがフラグ立てします。スコアの低さが検索の失敗によるものか、単なる表現の違いによるものかを判断するのはあなた自身です。

ワークフロー

データ入力後のAIの動き

エージェントが、テキスト文字列と参照ファイルの照合という重労働を代行します。

  1. 参照データの読み込み

    エージェントが正解ドキュメントと、テスト対象となるモデルの生成回答を読み取ります。

    calculate_rouge_bleu

  2. 重なり具合の算出

    AIが計算エンジンを実行し、n-gramの重なりや適合率を決定します。

    calculate_rouge_bleu

  3. 不一致の特定

    エージェントがスコアを比較し、検索プロセスで必要な情報が提供されなかった箇所を見つけ出します。

    calculate_rouge_bleu

  4. 精度の要約

    AIがスコアを集計し、パイプラインのパフォーマンスを分かりやすい要約としてまとめます。

    calculate_rouge_bleu

試してみる

以下のプロンプトをコピーして開始

これらのプロンプトを使って評価プロセスを開始できます。

出発点

括弧内のテキストは、実際のファイルパスやデータソースに書き換えてください。

Native V8 Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_z0q7gwUAfzM0N3ZK3eZQCz4jX1vB3r37FG9LvR3T/mcp

Claude Desktop

以下の手順で数秒で接続できます。

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Native V8 capabilities are ready to use.
設定 · claude_desktop_config.jsonコピー
{
  "mcpServers": {
    "llm-rouge-bleu-evaluator-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_z0q7gwUAfzM0N3ZK3eZQCz4jX1vB3r37FG9LvR3T/mcp"
    }
  }
}
チャットにコピー04

  • evaluatorを使用して、'test_results.json'内の回答と'ground_truth.pdf'内の正解データを比較してください。

  • 'logs'フォルダにある最近の検索テストの出力に対して、ROUGEとBLEUのチェックを実行してください。

  • このGoogle スプレッドシートの回答の精度を、参照ドキュメントと照らし合わせて確認してください。

  • 'response_v1.txt'のモデル出力と'context.txt'のソーステキストの類似度を評価してください。

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

ここから始める

LLM ROUGE & BLEU Evaluatorを接続して、すぐに質問を開始

MCPをクライアントにリンクさせるだけです。認証情報は暗号化されて保持されるため、すぐに評価を開始できます。

LLM ROUGE & BLEU EvaluatorをAIに接続する

FAQ

評価ツールの動作について

  • 01

    AIがRAGパイプラインを自動的に修正することはできますか？

    いいえ。AIはスコアの算出と乖離箇所の特定のみを行います。チャンク分割や埋め込み戦略の調整は、手動で行う必要があります。

  • 02

    AIが元のドキュメントを削除することはありませんか？

    いいえ。AIは比較を行うためにファイルを読み取るだけで、ソースデータを変更したり削除したりする権限は持っていません。

  • 03

    具体的にどのような指標を使用しますか？

    ROUGEとBLEUを使用し、生成されたテキストが正解ドキュメントとどの程度重なっているかを測定します。

  • 04

    どんなAIクライアントでも使えますか？

    はい。Claude、Cursor、Windsurfなど、MCPに対応しているクライアントであれば使用可能です。

  • 05

    スコアが低い理由を教えてくれますか？

    コンテキストの欠如によってスコアが低くなっている場合は特定できます。ただし、モデルが失敗した最終的な原因の解釈は、ユーザーが行う必要があります。

  • LLM ROUGE & BLEU Evaluatorについて他に質問がありますか？コネクタのページで回答しています。 LLM ROUGE & BLEU Evaluator コネクタの全機能を見る

『Native V8』を Claude、Cursor、ChatGPT などに接続