Cloud/AI Governance/Confiabilidade de Ferramentas
Confiabilidade de Ferramentas
Toda ferramenta que sua IA pode chamar, com nota: as mais lentas ranqueadas com os picos, as que falham divididas em causas Agent, Upstream e Vinkius, e uma matriz de latência contra falha de toda a superfície.
Uma frota pode estar saudável enquanto uma ferramenta arrasta toda conversa para a lama em silêncio. Tool Reliability é a tela que acaba com o achismo: toda ferramenta que seus agentes podem chamar, ranqueada duas vezes, por lentidão e por falha, com cada falha atribuída a uma causa. A linha do próprio console: "See which tools are slowing everything down and which ones are failing silently. Ranked, diagnosed, and ready for you to act on."
Tool Reliability
See which tools are slowing everything down and which ones are failing silently. Ranked, diagnosed, and ready for you to act on.
Slowest Tools
Avg latency (amber) · max spike (red)Most Failing Tools
Stacked by Agent / Upstream / VinkiusHealth Matrix
Latency × Failure rate · bubble = call volumeSlowest Tools Detail
| Tool | Calls | API | Total | Max | Rate |
|---|---|---|---|---|---|
| search_documents | 412 | 512ms | 823ms | 1682ms | 2.2% |
| create_issue | 386 | 448ms | 761ms | 1503ms | 1.8% |
| list_channels | 341 | 401ms | 704ms | 1412ms | 1.5% |
| get_user_profile | 298 | 372ms | 655ms | 1341ms | 1% |
| send_notification | 264 | 338ms | 592ms | 1204ms | 0.8% |
| update_task | 231 | 305ms | 531ms | 1086ms | 1.7% |
| query_database | 208 | 271ms | 478ms | 967ms | 0.5% |
| upload_file | 187 | 238ms | 413ms | 854ms | 1.1% |
| delete_record | 156 | 205ms | 352ms | 728ms | 0.6% |
| sync_calendar | 124 | 168ms | 297ms | 601ms | 0% |
Most Failing Tools Detail
| Tool | Calls | Errors | Agent | Upstream | Rate |
|---|---|---|---|---|---|
| search_documents | 412 | 28 | 20 | 7 | 6.8% |
| create_issue | 386 | 24 | 17 | 6 | 6.2% |
| list_channels | 341 | 19 | 13 | 5 | 5.6% |
| get_user_profile | 298 | 15 | 10 | 4 | 4.9% |
| send_notification | 264 | 11 | 8 | 3 | 4.1% |
| update_task | 231 | 9 | 6 | 2 | 3.9% |
| query_database | 208 | 7 | 5 | 2 | 3.4% |
| upload_file | 187 | 5 | 3 | 1 | 2.7% |
| delete_record | 156 | 3 | 2 | 1 | 1.9% |
| sync_calendar | 124 | 0 | 0 | 0 | 0% |
O mockup roda com o Sample Data do console. Num plano pago a mesma tela dá nota nas suas ferramentas ao vivo, por organização.
Os quatro contadores
- Tool Calls com a taxa de sucesso derivada: a saúde de toda a superfície de ferramentas em um número.
- Unique Tools ativas no período, para você saber quão larga é a superfície avaliada.
- Avg Latency com a divisão de sempre: a fatia verde é a API upstream, a âmbar é o overhead da Vinkius. A lentidão de ferramenta quase nunca é o proxy.
- Total Errors, vermelho no momento em que existem, com a divisão em três embaixo: Agent (4xx, culpa de quem chamou), Upstream (5xx, o provedor) e Vinkius (lançado pelo próprio proxy).
Os dois rankings
Slowest Tools ordena as ferramentas por latência média, e cada barra carrega o pico máximo como um ponto vermelho: uma ferramenta pode ter média de 300ms e ainda assim passar de um segundo às 2 da manhã, e este gráfico se recusa a esconder isso. Esta é a lista para levar a quem é dono do Connector.
Most Failing Tools ordena por contagem de erros, e cada barra é empilhada por causa: âmbar para erros de Agent, vermelho para Upstream, violeta para Vinkius. A pilha diz de quem é o problema antes de você abrir a tabela. Uma ferramenta falhando principalmente em erros de Agent normalmente significa problema de escopo ou parâmetro do lado de quem chama; principalmente Upstream significa provedor instável; qualquer fatia violeta significa que o proxy interceptou algo e disse isso.
A Health Matrix
O terceiro gráfico plota cada ferramenta como uma bolha: latência num eixo, taxa de falha no outro, o tamanho da bolha é o volume de chamadas. O canto superior direito é a zona de perigo, uma ferramenta lenta que falha bastante; uma bolha grande ali é o seu próximo incidente, e a matriz é onde você o vê se formando.
As duas tabelas de detalhe
Slowest Tools Detail dá a cada ferramenta lenta suas chamadas, a divisão de latência API / Overhead / Total e o pico máximo. Most Failing Tools Detail dá a cada ferramenta que falha a contagem e a taxa de erros, quebradas nas colunas Agent / Upstream / Vinkius, então o diagnóstico vem junto com o número. As duas tabelas são clicáveis até o detalhe da ferramenta, e os dois estados vazios são os do próprio console: "No tool performance data recorded in this period." e "No tool error data recorded in this period."
Do sintoma ao dono
O link Details da Tool Health Matrix do Mission Control derruba você aqui. De uma ferramenta que falha, a próxima parada é Request Failures para ver os requests que quebraram de verdade, e as políticas de Connector Policy são onde uma ferramenta abusada repetidamente passa a ser limitada. Esta tela transforma "a IA está lenta" em: esta ferramenta, este servidor, esta latência, esta causa, este dono.