- ACCURATE
- HALLUCINATION
- FRUSTRATED
- HUMAN
すぐに答え
AIでチャットボットの会話をどのように監査できますか?
AIが最新のチャット履歴を取得し、ボットの回答が指示通りに行われているかを照合します。ボットが失敗した箇所や成功した箇所が明確なリストとして出力されるため、どこに改善が必要かが一目でわかります。
監査結果の分類
分析結果の出力内容
AIはレビューしたすべての会話を、以下の4つのカテゴリに分類します。
ACCURATE
正常なやり取り
ボットが指示に従い、正しい情報を提供できている会話です。これらは問題がないため、確認を省略して改善が必要な箇所に集中できます。
HALLUCINATION
誤情報の生成
ボットが事実に基づかない回答や誤ったデータを出力したケースです。ナレッジベースの修正において、最優先で対応すべき項目です。
FRUSTRATED
ユーザーの不満
ボットが同じ回答を繰り返したり、役に立たない回答をしたりしている様子がユーザーの言葉から読み取れます。UX上の課題を特定できます。
HUMAN
手動確認が必要
内容が複雑、あるいは曖昧でAIが確信を持って判定できない会話です。これらは人間が直接内容を確認する必要があります。
ワークフロー
監査開始時にAIが行うプロセス
ログの読み取りからボットの設定との照合まで、AIが膨大な作業を代行します。
チャットログの取得
監査のサンプルとするため、AIが直近のやり取りのリストを取得します。
list_conversationsボット設定の解析
ボットが本来どのように振る舞うべきかを理解するため、設定内容を確認します。
get_bot回答の評価
実際のチャット内容とボットの指示を照らし合わせ、不一致がないかを検証します。
list_conversations結果の要約
検出されたエラーや成功事例を、すぐにアクションに移せるレポート形式にまとめます。
get_bot
試してみる
以下のプロンプトをコピーして開始
これらのプロンプトを使って監査を開始できます。
出発点
これらはあくまで開始例です。用途に合わせて、ボット名や期間を適宜書き換えてください。
ChatGen Connector
準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。
https://edge.vinkius.com/vk_preview_Keuea813ZJZEIvQ9NrKqOk7eymu9JJMrfbYTqCxG/mcpClaude Desktop
以下の手順で数秒で接続できます。
- 1In Claude Desktop, open Settings → Connectors.
- 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
- 3Click Add and start a new chat — ChatGen capabilities are ready to use.
{
"mcpServers": {
"chatgen-mcp": {
"url": "https://edge.vinkius.com/vk_preview_Keuea813ZJZEIvQ9NrKqOk7eymu9JJMrfbYTqCxG/mcp"
}
}
}SupportBotの直近50件の会話をレビューして、誤った回答がないか教えてください。
SalesBotの最近のチャット履歴を確認し、ユーザーが不満を感じている箇所を特定してください。
FAQ_Botの会話ログをチェックして、ハルシネーション(誤情報の生成)が発生していないか確認してください。
BillingBotの最新のチャットを分析し、新しい料金ルールが正しく適用されているか確認してください。
Claude
ChatGPT
Cursor
VS Code
Windsurf
Claude Code
JetBrains
Cline
ここから始める
ChatGenを接続して、すぐに質問を開始
リンクをクリックしてアカウントを接続するだけです。認証情報は暗号化されて保護されるため、お使いのAIクライアントからすぐに監査を開始できます。
ChatGenをAIに接続するFAQ
監査の仕組みについて
- 01
AIがボットの回答を自動的に変更することはありますか?
いいえ。AIはデータの読み取りと分析のみを行います。エラーを修正するには、手動でボットの設定やナレッジベースを更新する必要があります。
- 02
AIがチャット履歴を削除することはありませんか?
はい、ありません。AIには会話ログを削除したり、内容を書き換えたりする権限はありません。
- 03
一度にどれくらいの数の会話をチェックできますか?
チャット履歴の保持期間の範囲内であれば、プロンプトで指定した数だけAIが処理可能です。
- 04
他のプラットフォームのボットも監査できますか?
ChatGenが接続に対応しているボットであれば、どのプラットフォームのものでも監査可能です。
- 05
どのユーザーが不満を感じていたかまで教えてくれますか?
AIは特定の会話を特定できますが、チャットログのテキスト自体に含まれていない限り、ユーザーの個人情報を提供することはありません。
ChatGenについてさらに詳しく知りたいですか? ChatGen Connectorの全機能を見る
『ChatGen』を Claude、Cursor、ChatGPT などに接続
