• 正確性
  • トーン
  • 有人対応
  • 傾向

AIを活用して学生向けチャットボットの会話内容を監査する方法

Mainstayをエージェントに接続して会話ログを取得し、ボットが学生とどのようにやり取りしているかを分析しましょう。

このページについてAIに聞く

すぐに答え

Mainstayのチャットボット会話をどのように監査できますか?

エージェントがlist_messagesツールを使用してMainstayから最新のチャットログを取得します。取得後、誤った情報の特定や、特定の学生とのやり取りの要約を指示できます。手動でデータを書き出す手間なく、ボットのパフォーマンスを明確に把握できます。

監査結果の分類

分析結果の活用方法

AIは、あなたが指示した目的に基づいて分析結果を分類します。

正確性

ボットの誤回答

エージェントがボットの誤った回答を特定します。修正が必要な具体的なメッセージのリストを取得できます。

トーン

学生の感情変化

学生のトーンが変化した会話をAIが検知します。ボットがユーザーを不快にさせていないかを確認できます。

有人対応

エスカレーションの必要性

人間による介入が必要な会話をエージェントが抽出します。至急確認すべき内容としてフラグを立てます。

傾向

頻出する質問

AIが類似した問い合わせをグループ化します。どのトピックがボットの利用を促しているかが分かります。

ワークフロー

監査開始時にAIが行うこと

エージェントがデータ取得を担うため、あなたは分析に集中できます。

  1. チャットログの取得

    エージェントがMainstayにアクセスし、確認したい特定のメッセージスレッドを取得します。

    list_messages
  2. エラーの走査

    取得したテキストをエージェントが読み取り、ボットの回答と公式ガイドラインとの乖離を特定します。

    list_messages
  3. パターンの特定

    複数の学生とのやり取りの中から、繰り返される質問や共通の問題をAIが探し出します。

    list_messages
  4. 確認用フラグ立て

    人間による確認が不可欠な、極めて重要な会話をエージェントが切り出します。

    list_messages

試してみる

以下のプロンプトをコピーして開始できます。

監査を開始するためのプロンプト例です。

出発点

これらは開始用のフレーズです。必要に応じて日付や対象となる学生グループを書き換えて使用してください。

Mainstay Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_GWkFmNjTamsRfgFmDQebU4CLGyyAWpESQV01Eokx/mcp

Claude Desktop

以下の手順で数秒で接続できます。

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Mainstay capabilities are ready to use.
設定 · claude_desktop_config.jsonコピー
{
  "mcpServers": {
    "mainstay-admithub-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_GWkFmNjTamsRfgFmDQebU4CLGyyAWpESQV01Eokx/mcp"
    }
  }
}
チャットにコピー04
  • Mainstayの最新50件のメッセージをリストアップし、ボットの回答に誤りがないか教えてください。

  • 最近のチャットログを確認し、学生が奨学金について質問している会話をすべて抽出してください。

  • 昨日のメッセージログを取得し、学生が不満を感じているような箇所があればフラグを立ててください。

  • 「新入生」グループのMainstayメッセージを確認し、最も多く寄せられた質問を上位3つにまとめてください。

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

ここから始める

Mainstayを一度接続すれば、あとは指示するだけです。

アカウントの連携は一度だけで完了します。認証情報は暗号化されて保護されるため、お使いのAIクライアントからすぐに監査を開始できます。

MainstayをAIに接続する

FAQ

監査の仕組みについて

  • 01

    AIが学生に送るメッセージを変更することはできますか?

    いいえ。AIはlist_messagesを通じてログを読み取ることはできますが、Mainstay内のメッセージを編集または削除することはできません。

  • 02

    AIが学生に自動返信することはありますか?

    いいえ。エージェントはデータの取得と分析のみを行います。学生に対してメッセージを送信する機能はありません。

  • 03

    特定の学生の名前を指定して監査することはできますか?

    はい。エージェントが適切なログを見つけられるよう、学生の識別子や詳細な情報をプロンプトで提供してください。

  • 04

    ボットの回答が間違っていることをAIはどうやって判断しますか?

    AIは、ログのデータと、あなたがプロンプトで提供したコンテキストやガイドラインを照らし合わせて判断します。

  • 05

    ログをスプレッドシートに書き出すことはできますか?

    AIはデータをコピーしやすい表形式に整えることはできますが、ローカルドライブに直接ファイルを書き出すことはできません。

  • Mainstayに関するその他の質問は、Connectorのページでご確認いただけます。 Mainstay Connectorの全機能を見る

『Mainstay』を Claude、Cursor、ChatGPT などに接続