• DADOS
  • RANKING
  • INSIGHT
  • HUMANO

Como comparar métricas de experimentos com sua IA

Conecte o DVC ao seu cliente de IA para analisar o histórico de experimentos. Após a conexão, você pode pedir ao seu agente para varrer as execuções anteriores e escolher a vencedora.

Pergunte à IA sobre esta página

Resposta rápida

Como posso comparar métricas de experimentos usando IA?

Sua IA utiliza o MCP do DVC para extrair arrays de métricas do seu histórico de experimentos. Ela compara esses valores para identificar qual versão teve o melhor desempenho com base nos seus critérios. Você recebe um detalhamento claro das melhores execuções.

Os resultados da sua análise

O que você recebe da comparação

Ao executar esta tarefa, você obtém estes resultados específicos.

DADOS

Arrays de métricas extraídos

A IA extrai os valores específicos de métricas dos seus experimentos no DVC. Você recebe um conjunto limpo de números para analisar.

RANKING

Melhor versão identificada

O agente compara as métricas em todas as execuções disponíveis e aponta diretamente para a versão mais bem-sucedida do modelo.

INSIGHT

Análise de tendências

Sua IA busca padrões na evolução das métricas ao longo do tempo. Isso ajuda a entender se o seu modelo está realmente evoluindo.

HUMANO

Validação manual necessária

A IA identifica a vencedora, mas você decide se os resultados fazem sentido. Você mantém o controle da seleção final do modelo.

O fluxo

O que sua IA faz ao receber os dados.

A IA cuida da parte pesada de varrer todo o seu histórico de experimentos.

  1. Buscar histórico de experimentos

    O agente varre seu repositório DVC para encontrar todas as execuções registradas.

    list_experiments

  2. Extrair valores de métricas

    Ele extrai os arrays de métricas específicos associados a cada execução encontrada no histórico.

    list_experiments

  3. Comparar desempenho

    A IA realiza uma comparação entre os diferentes conjuntos de métricas para encontrar os valores máximos ou mínimos.

    list_experiments

  4. Relatar a vencedora

    Seu agente resume qual versão do experimento atingiu as métricas alvo que você definiu.

    list_experiments

Teste

Copie estes comandos para começar.

Use estes prompts para iniciar sua análise.

Pontos de partida

Estes são apenas exemplos. Substitua os nomes das métricas ou caminhos de repositório para combinar com o seu cenário.

DVC Connector

Tudo pronto. Escolha seu cliente MCP e siga as instruções de configuração.

Link do conectorhttps://edge.vinkius.com/vk_preview_Myft115Qe8hEZoVFuhiTYRKEW5euUlsOR2XqjK69/mcp

Claude Desktop

Siga os passos abaixo para conectar em segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — DVC capabilities are ready to use.
Configuração · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "dvc-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_Myft115Qe8hEZoVFuhiTYRKEW5euUlsOR2XqjK69/mcp"
    }
  }
}
Copie no chat04

  • Liste todos os meus experimentos do DVC e me diga qual teve a maior acurácia.

  • Compare as métricas de loss das minhas últimas cinco execuções de experimentos no DVC.

  • Encontre o modelo com melhor desempenho no meu repo DVC com base no F1 score.

  • Mostre uma comparação dos arrays de métricas para os experimentos com a tag 'production' no DVC.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Comece aqui

Conecte o DVC uma vez e pronto.

Basta vincular sua conta do DVC uma única vez. Suas credenciais ficam criptografadas e você pode começar imediatamente a perguntar sobre seus dados de experimento para sua IA.

Conectar DVC à sua IA

FAQ

Perguntas frequentes

  • 01

    A IA pode alterar meus dados de experimentos no DVC?

    Não. A IA pode apenas ler o histórico de experimentos para realizar as comparações.

  • 02

    A IA escolhe o modelo para o deploy?

    Não. A IA identifica a versão com melhor desempenho, mas você deve tomar a decisão final de fazer o deploy.

  • 03

    Posso comparar métricas de repositórios DVC diferentes?

    A IA só consegue acessar os repositórios que você conectou via MCP do DVC.

  • 04

    Como a IA sabe qual métrica procurar?

    Você indica à IA qual métrica deve usar diretamente no seu prompt, como acurácia ou loss.

  • 05

    A IA pode criar novos experimentos para mim?

    Não. Este fluxo de trabalho específico serve para ler e comparar dados de experimentos já existentes.

  • Mais dúvidas sobre o DVC? A página do Connector responde. Veja tudo o que o MCP do DVC pode fazer

Conecte DVC ao Claude, Cursor, ChatGPT e outros