• RANKING
  • MÉTRICAS
  • ANÁLISE
  • HUMANO

Como comparar modelos de classificação com sua IA

Conecte este MCP ao seu cliente de IA para realizar comparações matemáticas entre diferentes saídas de modelos. Ele cuida de todo o cálculo das métricas para você focar apenas nos resultados.

Pergunte à IA sobre esta página

Resposta rápida

Como comparo o desempenho de classificadores com minha IA?

Forneça os rótulos de ground truth e os arrays de probabilidade dos seus modelos para a IA. O agente calcula o AUC exato de cada array para mostrar qual modelo tem o melhor poder preditivo. Você receberá um ranking claro do desempenho dos modelos.

Os resultados.

O que você obtém da comparação.

A IA processa seus dados para gerar estes resultados específicos.

RANKING

Ordem de desempenho

A IA compara os valores de AUC calculados para indicar qual modelo é estatisticamente superior para o seu conjunto de dados.

MÉTRICAS

Scores de AUC exatos

Você recebe valores numéricos precisos para cada array de probabilidade enviado, sem apenas uma estimativa geral.

ANÁLISE

Insights baseados em dados

A IA interpreta os scores para explicar o quanto a capacidade de distinguir classes de um modelo é superior à de outro.

HUMANO

Ajuste manual de threshold

A IA fornece os scores, mas você decide qual limiar de probabilidade é o melhor para o seu caso de uso de negócio.

O fluxo

O que sua IA faz ao receber os dados.

A IA atua como um validador matemático para as saídas do seu modelo.

  1. Ingestão de dados

    Sua IA lê os rótulos de ground truth e os diversos arrays de probabilidade que você carregou ou colou no chat.

    calculate_roc_auc

  2. Cálculo de métricas

    O agente executa os cálculos para encontrar a Área Sob a Curva ROC para cada entrada.

    calculate_roc_auc

  3. Ranking comparativo

    A IA organiza os scores resultantes para identificar qual modelo oferece o maior poder discriminativo.

    calculate_roc_auc

  4. Relatório de resultados

    O agente apresenta os valores finais de AUC e o vencedor em um formato limpo para sua revisão.

    calculate_roc_auc

Teste

Copie estes comandos para começar.

Use estes prompts para iniciar sua avaliação.

Pontos de partida

Substitua o texto entre colchetes pelos seus arrays de dados ou caminhos de arquivos reais.

Native V8 Connector

Tudo pronto. Escolha seu cliente MCP e siga as instruções de configuração.

Link do conectorhttps://edge.vinkius.com/vk_preview_VDeZcIBi8DFwURcnalpzs8zfvNkZF1ZSn2YpeI8w/mcp

Claude Desktop

Siga os passos abaixo para conectar em segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Native V8 capabilities are ready to use.
Configuração · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "roc-auc-evaluator-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_VDeZcIBi8DFwURcnalpzs8zfvNkZF1ZSn2YpeI8w/mcp"
    }
  }
}
Copie no chat04

  • Compare estes três arrays de probabilidade com este ground truth: [array1], [array2], [array3] usando os rótulos [labels].

  • Calcule o ROC AUC para as saídas do modelo no meu arquivo 'model_results.csv' contra o ground truth em 'labels.csv'.

  • Qual destes dois modelos está performando melhor com base nos scores de AUC? [array_a], [array_b] vs [labels].

  • Execute uma avaliação de AUC nos scores de probabilidade encontrados no diretório atual do meu workspace.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Comece aqui

Conecte o ROC AUC Evaluator uma vez e comece a perguntar.

Basta clicar no link para conectar o MCP ao seu cliente. Suas credenciais ficam criptografadas e você pode rodar os cálculos imediatamente.

Conectar ROC AUC Evaluator à sua IA

FAQ

Como o avaliador se comporta

  • 01

    A IA pode alterar meus arquivos de dados originais?

    Não. A IA apenas lê seus dados para realizar os cálculos; ela não pode modificar ou sobrescrever seus arquivos de origem.

  • 02

    Funciona com qualquer saída de modelo?

    Sim, desde que a saída seja um array de probabilidade ou um score que possa ser comparado com os rótulos de ground truth.

  • 03

    A IA pode plotar as curvas ROC para mim?

    Não. Este MCP serve estritamente para calcular a métrica AUC. Ele não gera gráficos ou visualizações.

  • 04

    Posso comparar mais de dois modelos ao mesmo tempo?

    Sim. Você pode fornecer múltiplos arrays de probabilidade em uma única requisição para compará-los contra os mesmos rótulos.

  • 05

    A IA decidirá qual modelo deve ser implantado?

    Não. A IA fornece a evidência matemática, mas a decisão final de implantar um modelo é inteiramente sua.

  • Mais dúvidas sobre o ROC AUC Evaluator? A página do Connector responde. Veja tudo o que o conector ROC AUC Evaluator pode fazer

Conecte Native V8 ao Claude, Cursor, ChatGPT e outros