AIを使ってプロンプトのバージョンを比較する方法

Langfuseとの接続を通じて、AIが特定のプロンプトテンプレートとその履歴を直接取得します。エージェントに指示内容の違いを特定させ、その変更が出力にどう影響したかを分析させることが可能です。

1. 01

   テンプレートの取得

   AIがLangfuse内から、指定されたプロンプトテンプレートを検索します。

   list_prompts
2. 02

   バージョンの抽出

   比較の準備として、テンプレートの過去の履歴（イテレーション）を抽出します。

   list_prompts
3. 03

   差異の特定

   エージェントが各バージョンのテキストを比較し、指示内容の変更箇所を見つけ出します。

   list_prompts
4. 04

   影響の要約

   指示内容の変更が、モデルの挙動にどのような影響を及ぼす可能性があるかをAIが解説します。

   list_prompts

Langfuse Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_sTXOynCd5hRTA7WbjY0nBUsTjmjwRIVY989VA7VU/mcpコピー

Claude Desktop

以下の手順で数秒で接続できます。

1. 1In Claude Desktop, open Settings → Connectors.
2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
3. 3Click Add and start a new chat — Langfuse capabilities are ready to use.

設定 · claude_desktop_config.jsonコピー

{
  "mcpServers": {
    "langfuse-llm-tracing-evals-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_sTXOynCd5hRTA7WbjY0nBUsTjmjwRIVY989VA7VU/mcp"
    }
  }
}

• Claude
• ChatGPT
• Cursor
• VS Code
• Windsurf
• Claude Code
• JetBrains
• Cline

Langfuseの認証情報を提供するだけで準備完了です。接続は暗号化されており、すぐにプロンプト履歴の照会を開始できます。

• 01

  AIはLangfuse内のプロンプトを書き換えることができますか？

  いいえ。AIができるのは、既存のプロンプトテンプレートやバージョンの読み取りと一覧表示のみです。

• 02

  AIは古いプロンプトのバージョンを削除できますか？

  いいえ。AIにはLangfuse内のデータを削除したり、変更したりする権限はありません。

• 03

  事前にプロンプトを手動でエクスポートしておく必要がありますか？

  いいえ。接続後は、AIが list_prompts ツールを使用して直接データを取得できます。

• 04

  AIはこれらのプロンプトに対して評価（Evaluation）を実行できますか？

  いいえ。AIができるのは、あなたが検証するためにプロンプトのテキストやバージョンを取得することだけです。

• 05

  AIはどのようにして各バージョンを識別しているのですか？

  Langfuseから提供されるバージョニングデータを使用して、同じテンプレートの異なるイテレーションを識別しています。

• Langfuseについてさらに質問がありますか？ Langfuse Connectorの全機能を見る