AIを活用してRAGパイプラインの精度をテストする方法

エージェントがHaystack connectorを使用して特定のパイプラインを起動し、その出力をインデックスされたドキュメントと比較します。エージェントの回答が実際のデータと一致するかを確認することで、検索エラーやハルシネーションを特定できます。

1. 01

   パイプラインの確認

   エージェントがHaystackインスタンスを確認し、テスト可能なパイプラインを特定します。

   list_pipelines
2. 02

   テストの実行

   選択したパイプラインに特定の入力を与えて起動し、回答または結果セットを生成します。

   run_pipeline
3. 03

   ソースデータの取得

   回答の検証のため、エージェントはインデックスから元のドキュメントを取得し、事実との整合性を確認します。

   search_documents
4. 04

   比較とレポート

   パイプラインの出力と取得したドキュメントを照合し、不一致がないかを評価します。

   run_pipeline

deepset Cloud Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_Tf2g8zLZroyDlliFU39whBZWkEDykSKQVz38t3zr/mcpコピー

Claude Desktop

以下の手順で数秒で接続できます。

1. 1In Claude Desktop, open Settings → Connectors.
2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
3. 3Click Add and start a new chat — deepset Cloud capabilities are ready to use.

設定 · claude_desktop_config.jsonコピー

{
  "mcpServers": {
    "haystack-deepset-cloud-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_Tf2g8zLZroyDlliFU39whBZWkEDykSKQVz38t3zr/mcp"
    }
  }
}

• Claude
• ChatGPT
• Cursor
• VS Code
• Windsurf
• Claude Code
• JetBrains
• Cline

Haystackの認証情報を提供するだけで準備完了です。接続は暗号化されており、すぐにパイプラインの実行を開始できます。

• 01

  AIがHaystackパイプラインの設定を変更することはできますか？

  いいえ。エージェントができるのは、既存のパイプラインの実行または一覧表示のみです。コードや設定を書き換えることはできません。

• 02

  エージェントがインデックスされたドキュメントを削除することはありますか？

  いいえ。提供されるツールは、パイプラインのリスト表示、実行、およびドキュメントの検索に限定されています。削除はできません。

• 03

  結果がハルシネーションであると、エージェントはどうやって判断するのですか？

  エージェントは検索ツールを使用して実際のドキュメントテキストを取得し、それをパイプラインの出力と比較することで、不一致を特定します。

• 04

  すべてのテストを手動で実行する必要がありますか？

  チャットを通じてエージェントに実行を依頼できるため、パイプラインの実行を自動化できます。

• 05

  複数のパイプラインを同時にテストすることはできますか？

  エージェントに順番に実行するよう指示することは可能ですが、各パイプラインの呼び出しは個別に実行されます。

• Haystackについて他に質問がありますか？ Connectorのページで詳細を確認できます。 Haystack Connectorの全機能を見る