Cloud/AI Governance/ツール信頼性
ツール信頼性
AIが呼び出せるすべてのツールを評価します。最も遅いツールはスパイクとともにランキングされ、失敗するツールはAgent、Upstream、Vinkiusの原因別に分類され、さらに全サーフェスのレイテンシ対失敗率のマトリクスを提供します。
フリート全体は健全でも、1つのツールが静かにすべての会話を泥沼に引きずり込んでいることがあります。Tool Reliabilityは推測に終止符を打つ画面です。エージェントが呼び出せるすべてのツールが、遅さと失敗の2軸でランク付けされ、それぞれの失敗が原因に帰属されます。コンソール自体の言葉は次のとおりです。"See which tools are slowing everything down and which ones are failing silently. Ranked, diagnosed, and ready for you to act on."
Tool Reliability
See which tools are slowing everything down and which ones are failing silently. Ranked, diagnosed, and ready for you to act on.
Slowest Tools
Avg latency (amber) · max spike (red)Most Failing Tools
Stacked by Agent / Upstream / VinkiusHealth Matrix
Latency × Failure rate · bubble = call volumeSlowest Tools Detail
| Tool | Calls | API | Total | Max | Rate |
|---|---|---|---|---|---|
| search_documents | 412 | 512ms | 823ms | 1682ms | 2.2% |
| create_issue | 386 | 448ms | 761ms | 1503ms | 1.8% |
| list_channels | 341 | 401ms | 704ms | 1412ms | 1.5% |
| get_user_profile | 298 | 372ms | 655ms | 1341ms | 1% |
| send_notification | 264 | 338ms | 592ms | 1204ms | 0.8% |
| update_task | 231 | 305ms | 531ms | 1086ms | 1.7% |
| query_database | 208 | 271ms | 478ms | 967ms | 0.5% |
| upload_file | 187 | 238ms | 413ms | 854ms | 1.1% |
| delete_record | 156 | 205ms | 352ms | 728ms | 0.6% |
| sync_calendar | 124 | 168ms | 297ms | 601ms | 0% |
Most Failing Tools Detail
| Tool | Calls | Errors | Agent | Upstream | Rate |
|---|---|---|---|---|---|
| search_documents | 412 | 28 | 20 | 7 | 6.8% |
| create_issue | 386 | 24 | 17 | 6 | 6.2% |
| list_channels | 341 | 19 | 13 | 5 | 5.6% |
| get_user_profile | 298 | 15 | 10 | 4 | 4.9% |
| send_notification | 264 | 11 | 8 | 3 | 4.1% |
| update_task | 231 | 9 | 6 | 2 | 3.9% |
| query_database | 208 | 7 | 5 | 2 | 3.4% |
| upload_file | 187 | 5 | 3 | 1 | 2.7% |
| delete_record | 156 | 3 | 2 | 1 | 1.9% |
| sync_calendar | 124 | 0 | 0 | 0 | 0% |
モックアップはコンソールのSample Dataで動作します。有料プランでは、同じ画面が組織ごとに稼働中のツールを評価します。
4つのカウンター
- Tool Calls。そこから算出された成功率が付きます。ツールサーフェス全体の健全性が1つの数字でわかります。
- 期間内にアクティブだったUnique Tools。評価対象の範囲がどれほど広いかがわかります。
- Avg Latency。おなじみの分割付きです。エメラルドの部分がupstream API、アンバーの部分がVinkiusのoverhead。ツールの遅さの原因がプロキシであることはほとんどありません。
- Total Errors。エラーが存在する時点で赤く表示され、その下に3分割があります。Agent(4xx、呼び出し側の過ち)、Upstream(5xx、プロバイダー)、Vinkius(プロキシ自身が投げたもの)。
2つのランキング
Slowest Toolsは平均レイテンシでツールをランク付けし、各バーには最大スパイクが赤い点として付きます。平均300msのツールでも、午前2時に1秒を超えるスパイクが出ることはあり得ますが、このグラフはそれを隠しません。これが、Connectorの所有者に持っていくべきリストです。
Most Failing Toolsはエラー件数でランク付けし、各バーは原因別に積み上げられています。アンバーがAgentエラー、赤がUpstream、紫がVinkiusです。表を開く前に、積み上げが誰の問題かを教えてくれます。主にAgentエラーで失敗するツールは、呼び出し側のscopeやパラメーターの問題を意味することが多く、主にUpstreamならプロバイダーが不安定、そして少しでも紫があれば、プロキシが何かを傍受してそのことを告げたという意味です。
Health Matrix
3つ目のグラフは各ツールをバブルで描きます。片方の軸はレイテンシ、もう片方は失敗率、バブルの大きさは呼び出し量です。右上のコーナーが危険地帯で、頻繁に失敗する遅いツールが現れます。そこにある大きなバブルは次のインシデントであり、このマトリクスはその兆候が形作られていくのを見る場所です。
2つの詳細テーブル
Slowest Tools Detailは、遅い各ツールの呼び出し数、API / Overhead / Totalのレイテンシ分割、そして最大スパイクを示します。Most Failing Tools Detailは、失敗している各ツールのエラー件数と率をAgent / Upstream / Vinkiusの列に分けて示し、診断が数字と一緒に届きます。両テーブルともクリックでツールの詳細に進めます。両方の空の状態はコンソール本来のものです。"No tool performance data recorded in this period." と "No tool error data recorded in this period."
症状からオーナーへ
Mission ControlのTool Health MatrixにあるDetailsリンクがここに着地します。失敗しているツールからは、実際に壊れたリクエストを見るためにRequest Failuresへ、繰り返し乱用されるツールのスロットリングはConnector Policyの設定で行います。この画面は「AIが遅く感じる」をこう変換します。このツール、このサーバー、このレイテンシ、この原因、このオーナー、と。