- LATENCY
- COMPARISON
- USAGE
- HUMAN
すぐに答え
AIを使ってどのようにモデルのパフォーマンスを確認できますか?
カタログ内の任意のモデルについて、レイテンシやリクエスト数などの特定の指標をAIに抽出させることができます。接続されたデータに基づき、AIは数値の急増を特定したり、異なるモデルの挙動を比較したりします。パフォーマンスの傾向やモデルごとの詳細な比較結果を、分かりやすく提示します。
分析結果の活用先
得られるパフォーマンス指標
AIがリクエストの生データを、実用的なパフォーマンスレポートへと変換します。
LATENCY
レイテンシの急増を特定
AIがリクエストログをスキャンし、応答時間が急増した箇所を見つけ出します。遅延を引き起こしている特定のタイムスタンプやモデルをリストアップします。
COMPARISON
モデル指標の比較
カタログ内の異なるモデルの統計情報を抽出します。どのモデルがより高速か、あるいは信頼性が高いかを並べて比較できます。
USAGE
リクエスト量の追跡
各モデルが処理しているリクエスト数をカウントします。どのモデルに負荷が集中しているかを把握するのに役立ちます。
HUMAN
手動によるチューニング
AIがデータを提供しますが、どのモデルを入れ替えるか、あるいはアップグレードするかを判断するのはあなた自身です。実際の構成変更は、お使いの環境で行ってください。
ワークフロー
データ受信後のAIの動き
AIはモデルのテレメトリ(遠隔測定)を分析するデータアナリストとして機能します。
モデルの棚卸し
まずAIがカタログ内の利用可能なモデルを確認し、分析の範囲を把握します。
list_modelsリクエストログの取得
調査対象とするモデルの、具体的なリクエスト履歴を抽出します。
list_requests_by_model指標の算出
リクエストデータを処理し、レイテンシやエラー率のパターンを算出します。
get_analytics分析結果の要約
最終的な比較結果やスパイクの報告を、確認しやすい自然な言葉で提示します。
get_analytics
試してみる
以下のプロンプトをコピーして開始
これらのプロンプトを使って分析を開始できます。
出発点
これらはあくまで例です。必要に応じてモデル名や期間を書き換えて使用してください。
Keywords AI Connector
準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。
https://edge.vinkius.com/vk_preview_R4VkEIrwLVvP7dLw0Fdy9vfjO7WqxWYeI2hDwlBU/mcpClaude Desktop
以下の手順で数秒で接続できます。
- 1In Claude Desktop, open Settings → Connectors.
- 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
- 3Click Add and start a new chat — Keywords AI capabilities are ready to use.
{
"mcpServers": {
"keywords-ai-mcp": {
"url": "https://edge.vinkius.com/vk_preview_R4VkEIrwLVvP7dLw0Fdy9vfjO7WqxWYeI2hDwlBU/mcp"
}
}
}現在、私のカタログにはどのモデルがありますか?
過去24時間におけるGPT-4oモデルのレイテンシの傾向を教えてください。
LlamaモデルとClaudeモデルの平均応答時間を比較してください。
過去1時間以内に、レイテンシの急増が発生したモデルはありますか?
Claude
ChatGPT
Cursor
VS Code
Windsurf
Claude Code
JetBrains
Cline
ここから始める
Keywords AIを一度接続すれば、あとは聞くだけです。
ワンクリックの接続プロセスに従うだけです。認証情報は暗号化されて保持されるため、すぐにモデルのパフォーマンスに関する質問を開始できます。
Keywords AIをAIに接続するFAQ
機能の詳細
- 01
AIがモデルの設定を変更することはできますか?
いいえ。AIができるのは分析データやリクエストデータの読み取りのみです。設定やモデルの変更は、ご自身でダッシュボードから行う必要があります。
- 02
AIが古いリクエストログを削除することはできますか?
いいえ。提供されるツールはデータのリスト表示と取得のみを許可しており、データの修正や削除はできません。
- 03
すべてのモデルで利用可能ですか?
Keywords AIのカタログに表示されているすべてのモデルで利用可能です。
- 04
エラー率を確認することはできますか?
はい。AIが分析データを取得し、リクエストの失敗頻度を表示できます。
- 05
データはどのくらいの頻度で更新されますか?
AIは、質問が行われた瞬間にKeywords AI APIを通じて利用可能な最新のデータを取得します。
Keywords AIについて他に質問がありますか? Keywords AI Connectorの全機能を見る
『Keywords AI』を Claude、Cursor、ChatGPT などに接続
