Cloud/AI Governance/Tool-Zuverlässigkeit
Tool-Zuverlässigkeit
Jedes Werkzeug, das Ihre KI aufrufen kann, benotet: die langsamsten im Ranking mit ihren Spitzen, die fehlschlagenden aufgeteilt in die Ursachen Agent, Upstream und Vinkius, und eine Latenz-versus-Fehler-Matrix der gesamten Oberfläche.
Eine Flotte kann gesund sein, während ein Werkzeug still und leise jede Konversation durch den Schlamm zieht. Tool Reliability ist der Bildschirm, der das Rätselraten beendet: jedes Werkzeug, das Ihre Agenten aufrufen können, doppelt sortiert, nach Langsamkeit und nach Fehlschlag, mit jeder Störung, die einer Ursache zugeordnet wird. Der eigene Satz der Konsole: "See which tools are slowing everything down and which ones are failing silently. Ranked, diagnosed, and ready for you to act on."
Tool Reliability
See which tools are slowing everything down and which ones are failing silently. Ranked, diagnosed, and ready for you to act on.
Slowest Tools
Avg latency (amber) · max spike (red)Most Failing Tools
Stacked by Agent / Upstream / VinkiusHealth Matrix
Latency × Failure rate · bubble = call volumeSlowest Tools Detail
| Tool | Calls | API | Total | Max | Rate |
|---|---|---|---|---|---|
| search_documents | 412 | 512ms | 823ms | 1682ms | 2.2% |
| create_issue | 386 | 448ms | 761ms | 1503ms | 1.8% |
| list_channels | 341 | 401ms | 704ms | 1412ms | 1.5% |
| get_user_profile | 298 | 372ms | 655ms | 1341ms | 1% |
| send_notification | 264 | 338ms | 592ms | 1204ms | 0.8% |
| update_task | 231 | 305ms | 531ms | 1086ms | 1.7% |
| query_database | 208 | 271ms | 478ms | 967ms | 0.5% |
| upload_file | 187 | 238ms | 413ms | 854ms | 1.1% |
| delete_record | 156 | 205ms | 352ms | 728ms | 0.6% |
| sync_calendar | 124 | 168ms | 297ms | 601ms | 0% |
Most Failing Tools Detail
| Tool | Calls | Errors | Agent | Upstream | Rate |
|---|---|---|---|---|---|
| search_documents | 412 | 28 | 20 | 7 | 6.8% |
| create_issue | 386 | 24 | 17 | 6 | 6.2% |
| list_channels | 341 | 19 | 13 | 5 | 5.6% |
| get_user_profile | 298 | 15 | 10 | 4 | 4.9% |
| send_notification | 264 | 11 | 8 | 3 | 4.1% |
| update_task | 231 | 9 | 6 | 2 | 3.9% |
| query_database | 208 | 7 | 5 | 2 | 3.4% |
| upload_file | 187 | 5 | 3 | 1 | 2.7% |
| delete_record | 156 | 3 | 2 | 1 | 1.9% |
| sync_calendar | 124 | 0 | 0 | 0 | 0% |
Das Mockup läuft mit dem Sample Data der Konsole. Auf einem kostenpflichtigen Plan bewertet derselbe Bildschirm Ihre aktiven Werkzeuge, pro Organisation.
Die vier Zähler
- Tool Calls mit der abgeleiteten Erfolgsquote: die Gesundheit der gesamten Werkzeugoberfläche in einer Zahl.
- Unique Tools, die im Zeitraum aktiv waren, damit Sie wissen, wie breit die bewertete Oberfläche ist.
- Avg Latency mit der gewohnten Aufteilung: der smaragdgrüne Anteil ist die upstream API, der amberfarbene Anteil ist der Vinkius Overhead. Die Langsamkeit eines Werkzeugs ist fast nie der Proxy.
- Total Errors, rot, sobald es sie gibt, mit der Dreiteilung darunter: Agent (4xx, die Schuld des Aufrufers), Upstream (5xx, der Anbieter) und Vinkius (vom Proxy selbst geworfen).
Die beiden Ranglisten
Slowest Tools sortiert die Werkzeuge nach durchschnittlicher Latenz, und jeder Balken trägt seine maximale Spitze als roten Punkt: ein Werkzeug kann im Schnitt 300ms liegen und trotzdem um 2 Uhr nachts über eine Sekunde ausschlagen, und dieses Diagramm weigert sich, das zu verbergen. Das ist die Liste, die Sie dem Besitzer des Connectors bringen.
Most Failing Tools sortiert nach Fehlerzahl, und jeder Balken ist nach Ursache gestapelt: Amber für Agent-Fehler, Rot für Upstream, Violett für Vinkius. Der Stapel sagt Ihnen, wessen Problem es ist, bevor Sie überhaupt die Tabelle öffnen. Ein Werkzeug, das hauptsächlich an Agent-Fehlern scheitert, bedeutet meist ein Scope- oder Parameterproblem auf der Aufruferseite; hauptsächlich Upstream bedeutet, der Anbieter ist unzuverlässig; jeder violette Splitter bedeutet, der Proxy hat etwas abgefangen und es auch gesagt.
Die Health Matrix
Das dritte Diagramm zeichnet jedes Werkzeug als Blase: Latenz auf einer Achse, Fehlerquote auf der anderen, die Blasengröße ist das Aufrufvolumen. Die obere rechte Ecke ist die Gefahrenzone, ein langsames Werkzeug, das häufig scheitert; eine große Blase dort ist Ihr nächster Vorfall, und die Matrix ist der Ort, an dem Sie ihn entstehen sehen.
Die beiden Detailtabellen
Slowest Tools Detail gibt jedem langsamen Werkzeug seine Aufrufe, die API / Overhead / Total Latenzaufteilung und die maximale Spitze. Most Failing Tools Detail gibt jedem fehlschlagenden Werkzeug seine Fehlerzahl und -quote, aufgeschlüsselt in die Spalten Agent / Upstream / Vinkius, sodass die Diagnose mit der Zahl mitkommt. Beide Tabellen sind bis zu den Werkzeugdetails klickbar, und beide leeren Zustände sind die der Konsole selbst: "No tool performance data recorded in this period." und "No tool error data recorded in this period."
Vom Symptom zum Verantwortlichen
Der Details Link auf Mission Controls Tool Health Matrix lässt Sie hier landen. Von einem fehlschlagenden Werkzeug aus ist die nächste Station Request Failures, um die echten Requests zu sehen, die kaputtgingen, und die Connector Policy Einstellungen sind der Ort, an dem ein wiederholt missbrauchtes Werkzeug gedrosselt wird. Dieser Bildschirm macht aus "die KI fühlt sich langsam an": dieses Werkzeug, dieser Server, diese Latenz, diese Ursache, dieser Verantwortliche.