AIを使ってチャットボットの回答精度をテストする方法

はい。AIクライアントから稼働中のボットをリストアップし、メッセージを送信して反応を確認できます。これにより、ボットのロジックや正確性をリアルタイムで検証できます。具体的なテスト結果の例は以下の通りです。

1. 01

   ボットの検索

   AIが利用可能なChatflyボットの一覧を取得し、テストしたいボットを選択できるようにします。

   list_chatfly_bots
2. 02

   プロンプトの送信

   AIが選択したボットに対して、指定されたテストメッセージを送信します。

   send_bot_message
3. 03

   返答の受信

   AIがボットからの応答をキャッチし、チャット画面上に表示します。

   send_bot_message
4. 04

   結果の評価

   AIがボットの回答を指示内容と比較し、テストに合格したかを判断します。

   send_bot_message

CHATFLY Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_g5Jpcnhe3wKDzdOk7FPTVWgbtYJ0bn7BpbvqugJz/mcpコピー

Claude Desktop

以下の手順で数秒で接続できます。

1. 1In Claude Desktop, open Settings → Connectors.
2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
3. 3Click Add and start a new chat — CHATFLY capabilities are ready to use.

設定 · claude_desktop_config.jsonコピー

{
  "mcpServers": {
    "chatfly-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_g5Jpcnhe3wKDzdOk7FPTVWgbtYJ0bn7BpbvqugJz/mcp"
    }
  }
}

• Claude
• ChatGPT
• Cursor
• VS Code
• Windsurf
• Claude Code
• JetBrains
• Cline

以下のリンクから接続してください。ログイン情報は弊社側で暗号化して保持されるため、すぐにテストを開始できます。

• 01

  AIがボットのロジックを変更することはできますか？

  いいえ。AIができるのはメッセージの送信とボットの一覧取得のみです。ボットの設定変更はChatflyのダッシュボードで行う必要があります。

• 02

  AIがボットを削除することはできますか？

  いいえ。このMCPには、Chatflyボットの削除や変更を行うツールは含まれていません。

• 03

  テストメッセージはChatflyのログに記録されますか？

  はい。AIから送信されたメッセージはすべて実際のやり取りとして記録され、Chatflyの履歴に表示されます。

• 04

  どのボットIDを使えばよいか分からない場合は？

  まずAIにボットの一覧を表示させてください。メッセージ送信に必要なIDが提示されます。

• 05

  一覧にないボットをテストすることはできますか？

  いいえ。AIは、一覧取得ツールによって表示されるボットとのみやり取りが可能です。

• CHATFLYについて他に質問がありますか？コネクターのページで回答しています。 CHATFLY Connectorの全機能を見る