- 正確性
- トーン
- 有人対応
- 傾向
すぐに答え
Mainstayのチャットボット会話をどのように監査できますか?
エージェントがlist_messagesツールを使用してMainstayから最新のチャットログを取得します。取得後、誤った情報の特定や、特定の学生とのやり取りの要約を指示できます。手動でデータを書き出す手間なく、ボットのパフォーマンスを明確に把握できます。
監査結果の分類
分析結果の活用方法
AIは、あなたが指示した目的に基づいて分析結果を分類します。
正確性
ボットの誤回答
エージェントがボットの誤った回答を特定します。修正が必要な具体的なメッセージのリストを取得できます。
トーン
学生の感情変化
学生のトーンが変化した会話をAIが検知します。ボットがユーザーを不快にさせていないかを確認できます。
有人対応
エスカレーションの必要性
人間による介入が必要な会話をエージェントが抽出します。至急確認すべき内容としてフラグを立てます。
傾向
頻出する質問
AIが類似した問い合わせをグループ化します。どのトピックがボットの利用を促しているかが分かります。
ワークフロー
監査開始時にAIが行うこと
エージェントがデータ取得を担うため、あなたは分析に集中できます。
チャットログの取得
エージェントがMainstayにアクセスし、確認したい特定のメッセージスレッドを取得します。
list_messagesエラーの走査
取得したテキストをエージェントが読み取り、ボットの回答と公式ガイドラインとの乖離を特定します。
list_messagesパターンの特定
複数の学生とのやり取りの中から、繰り返される質問や共通の問題をAIが探し出します。
list_messages確認用フラグ立て
人間による確認が不可欠な、極めて重要な会話をエージェントが切り出します。
list_messages
試してみる
以下のプロンプトをコピーして開始できます。
監査を開始するためのプロンプト例です。
出発点
これらは開始用のフレーズです。必要に応じて日付や対象となる学生グループを書き換えて使用してください。
Mainstay Connector
準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。
https://edge.vinkius.com/vk_preview_GWkFmNjTamsRfgFmDQebU4CLGyyAWpESQV01Eokx/mcpClaude Desktop
以下の手順で数秒で接続できます。
- 1In Claude Desktop, open Settings → Connectors.
- 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
- 3Click Add and start a new chat — Mainstay capabilities are ready to use.
{
"mcpServers": {
"mainstay-admithub-mcp": {
"url": "https://edge.vinkius.com/vk_preview_GWkFmNjTamsRfgFmDQebU4CLGyyAWpESQV01Eokx/mcp"
}
}
}Mainstayの最新50件のメッセージをリストアップし、ボットの回答に誤りがないか教えてください。
最近のチャットログを確認し、学生が奨学金について質問している会話をすべて抽出してください。
昨日のメッセージログを取得し、学生が不満を感じているような箇所があればフラグを立ててください。
「新入生」グループのMainstayメッセージを確認し、最も多く寄せられた質問を上位3つにまとめてください。
Claude
ChatGPT
Cursor
VS Code
Windsurf
Claude Code
JetBrains
Cline
ここから始める
Mainstayを一度接続すれば、あとは指示するだけです。
アカウントの連携は一度だけで完了します。認証情報は暗号化されて保護されるため、お使いのAIクライアントからすぐに監査を開始できます。
MainstayをAIに接続するFAQ
監査の仕組みについて
- 01
AIが学生に送るメッセージを変更することはできますか?
いいえ。AIはlist_messagesを通じてログを読み取ることはできますが、Mainstay内のメッセージを編集または削除することはできません。
- 02
AIが学生に自動返信することはありますか?
いいえ。エージェントはデータの取得と分析のみを行います。学生に対してメッセージを送信する機能はありません。
- 03
特定の学生の名前を指定して監査することはできますか?
はい。エージェントが適切なログを見つけられるよう、学生の識別子や詳細な情報をプロンプトで提供してください。
- 04
ボットの回答が間違っていることをAIはどうやって判断しますか?
AIは、ログのデータと、あなたがプロンプトで提供したコンテキストやガイドラインを照らし合わせて判断します。
- 05
ログをスプレッドシートに書き出すことはできますか?
AIはデータをコピーしやすい表形式に整えることはできますが、ローカルドライブに直接ファイルを書き出すことはできません。
Mainstayに関するその他の質問は、Connectorのページでご確認いただけます。 Mainstay Connectorの全機能を見る
『Mainstay』を Claude、Cursor、ChatGPT などに接続
