• DADOS
  • ANÁLISE
  • INSIGHT
  • HUMANO

Como comparar métricas de experimentos com sua IA

Conecte o Comet ML ao seu agente para extrair dados de execuções específicas. Com essa conexão, você pode pedir para sua IA fazer comparações diretas do desempenho do seu modelo.

Pergunte à IA sobre esta página

Resposta rápida

Como posso comparar métricas de experimentos com minha IA?

Seu agente usa ferramentas do Comet ML para buscar valores numéricos de várias execuções. Depois, você pode pedir para ele identificar tendências, calcular diferenças ou encontrar a melhor execução. Este fluxo mostra como os dados saem do Comet ML e chegam ao seu chat.

Resultados

O que você ganha com essas comparações

A IA cuida da busca dos dados para você focar apenas nos resultados.

DADOS

Extração direta de métricas

A IA busca números exatos de loss, acurácia ou métricas personalizadas. Você recebe dados limpos sem precisar exportar arquivos manualmente.

ANÁLISE

Comparação entre execuções

Peça ao seu agente para comparar dois experimentos específicos. Ele calcula as diferenças de desempenho automaticamente.

INSIGHT

Identificação de tendências

A IA analisa vários experimentos para verificar se mudanças em hiperparâmetros melhoraram seus resultados.

HUMANO

Tomada de decisão

A IA apresenta os números e as variações. Você decide qual versão do modelo está pronta para o deploy.

O fluxo

O que sua IA faz quando os dados chegam.

O agente funciona como uma ponte entre seu painel do Comet ML e sua interface de chat.

  1. Localizar experimentos

    O agente identifica as execuções de treinamento que você quer analisar consultando o histórico do projeto.

    list_experiments

  2. Buscar dados numéricos

    Após identificar as execuções, o agente extrai os valores das métricas que você solicitou.

    get_experiment_metrics

  3. Calcular diferenças

    O agente compara os valores entre as execuções selecionadas para encontrar melhorias ou regressões.

    get_experiment_metrics

  4. Resumir descobertas

    O agente apresenta uma comparação clara das métricas diretamente na sua janela de chat.

    get_experiment_metrics

Teste

Copie estes exemplos para começar.

Use estes comandos para iniciar sua análise.

Pontos de partida

Substitua os nomes dos experimentos e as chaves das métricas pelos seus dados reais do Comet ML.

Comet ML Connector

Tudo pronto. Escolha seu cliente MCP e siga as instruções de configuração.

Link do conectorhttps://edge.vinkius.com/vk_preview_C2PxqYqwffQi3V41WE8jlPynFSP048sA8SVR1PFT/mcp

Claude Desktop

Siga os passos abaixo para conectar em segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Comet ML capabilities are ready to use.
Configuração · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "comet-ml-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_C2PxqYqwffQi3V41WE8jlPynFSP048sA8SVR1PFT/mcp"
    }
  }
}
Copie no chat04

  • Compare a métrica de acurácia entre o experimento 'run_v1' e o 'run_v2'.

  • Liste todos os experimentos do meu projeto atual e me diga qual teve o menor validation loss.

  • Qual foi a diferença no tempo de treinamento entre minhas últimas três execuções?

  • Encontre o experimento com o maior F1 score no meu histórico de treinamento recente.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Comece aqui

Conecte o Comet ML uma vez e pronto.

Uma única conexão vincula seu agente aos dados do Comet ML. Suas credenciais ficam criptografadas e seguras conosco.

Conectar Comet ML à sua IA

FAQ

Como funciona esta tarefa

  • 01

    A IA pode alterar as configurações do meu experimento?

    Não. A IA só pode ler métricas e listar experimentos. Ela não pode modificar suas execuções ou alterar hiperparâmetros.

  • 02

    A IA pode excluir experimentos antigos?

    Não. As ferramentas permitem apenas a leitura de dados. A exclusão de experimentos deve ser feita manualmente no Comet ML.

  • 03

    Preciso exportar arquivos CSV primeiro?

    Não. A IA busca os dados diretamente do Comet ML usando as ferramentas integradas.

  • 04

    Ela consegue comparar métricas de dois projetos diferentes?

    Sim, desde que o agente tenha acesso a ambos os projetos através da ferramenta list_experiments.

  • 05

    A IA vai sugerir novos hiperparâmetros?

    A IA pode identificar quais hiperparâmetros geraram melhores métricas, mas não pode executar novos treinamentos por você.

  • Mais dúvidas sobre o Comet ML? A página do conector tem as respostas. Veja tudo o que o conector MCP do Comet ML pode fazer

Conecte Comet ML ao Claude, Cursor, ChatGPT e outros