• DADOS
  • INSIGHT
  • ANÁLISE
  • HUMANO

Como comparar métricas de treinamento com sua IA

Conecte o MLflow ao seu cliente de IA para analisar tendências de desempenho no seu histórico de experimentos. Pare de procurar dados em dashboards e comece a fazer perguntas sobre o progresso do seu modelo.

Pergunte à IA sobre esta página

Resposta rápida

Como posso comparar métricas de treinamento com minha IA?

Sua IA utiliza o MLflow para localizar execuções específicas e extrair sua telemetria. Em seguida, ela compara as métricas que você definiu, como loss ou acurácia, para mostrar o desempenho de diferentes versões do seu modelo. Você visualizará as tendências e anomalias cruciais para sua próxima sessão de treinamento.

Resultados

O que você ganha com sua IA

A IA cuida da busca de dados para que você foque apenas nos resultados.

DADOS

Comparações históricas

A IA extrai métricas de várias execuções passadas. Você obtém uma visão clara de como o desempenho mudou ao longo do tempo.

INSIGHT

Identificação de tendências

Em vez de analisar números brutos, sua IA identifica se a acurácia estagnou ou se o loss está divergindo.

ANÁLISE

Impacto de parâmetros

A IA correlaciona mudanças nos hiperparâmetros com variações nas métricas para mostrar o que realmente funcionou.

HUMANO

Tomada de decisão

A IA apresenta os dados, mas você decide qual conjunto de hiperparâmetros usar no próximo deploy em produção.

O fluxo

O que sua IA faz quando recebe o comando.

A IA parte de buscas amplas para pontos de dados específicos para construir sua comparação.

  1. Localizar experimentos

    A IA vasculha seu workspace do MLflow para encontrar as execuções ou grupos de experimentos que você deseja analisar.

    search_runs

  2. Buscar telemetria

    Após identificar as execuções, a IA extrai as métricas e parâmetros detalhados de cada uma.

    get_run

  3. Calcular diferenças

    A IA compara os valores entre as execuções selecionadas para encontrar melhorias ou regressões.

    search_runs

  4. Resumir resultados

    A IA traduz os números brutos das métricas em um resumo direto sobre as diferenças entre os modelos.

    get_run

Teste

Copie estes exemplos para começar.

Use estes comandos para iniciar sua análise.

Pontos de partida

Substitua os nomes dos experimentos ou das métricas pelos seus identificadores reais do MLflow.

MLflow Connector

Tudo pronto. Escolha seu cliente MCP e siga as instruções de configuração.

Link do conectorhttps://edge.vinkius.com/vk_preview_O0ZBpwFtJKVOQRXy98KSjGZvQNA27XEpDUDcFNyB/mcp

Claude Desktop

Siga os passos abaixo para conectar em segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — MLflow capabilities are ready to use.
Configuração · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "mlflow-ml-lifecycle-management-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_O0ZBpwFtJKVOQRXy98KSjGZvQNA27XEpDUDcFNyB/mcp"
    }
  }
}
Copie no chat04

  • Compare a acurácia das últimas cinco execuções no meu experimento 'image-classifier'.

  • Qual execução no experimento 'resnet-v2' teve o menor validation loss?

  • Mostre como a mudança na learning rate afetou a velocidade de convergência nas minhas execuções recentes.

  • Encontre todas as execuções no experimento 'nlp-finetune' onde o F1 score foi acima de 0.85.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Comece aqui

Conecte o MLflow uma vez e comece a perguntar.

Basta vincular sua instância do MLflow através do Vinkius. Suas credenciais ficam criptografadas e seguras, permitindo que você consulte seus experimentos imediatamente no seu cliente de IA favorito.

Conectar MLflow à sua IA

FAQ

Como funciona esta tarefa

  • 01

    A IA pode alterar os parâmetros do meu experimento?

    Não. A IA apenas lê os dados das suas execuções existentes usando as ferramentas disponíveis. Ela não pode modificar seus experimentos ou alterar configurações de treinamento.

  • 02

    Posso pedir para a IA criar uma nova execução?

    Não. Este MCP foi projetado para leitura e comparação de telemetria. Ele não tem capacidade de disparar novos jobs de treinamento ou criar novas execuções.

  • 03

    A IA tem acesso a todos os meus experimentos?

    A IA pode acessar qualquer experimento que você solicitar ou que ela consiga localizar através das ferramentas de busca.

  • 04

    Ela pode gerar gráficos para mim?

    A IA consegue descrever as tendências e fornecer os pontos de dados, mas não gera arquivos de imagem ou gráficos interativos diretamente.

  • 05

    Como ela sabe quais execuções comparar?

    Você indica qual experimento ou IDs de execução específicos deve analisar, e ela utiliza as ferramentas de busca para encontrá-los.

  • Mais dúvidas sobre o MLflow? Veja tudo o que o conector MLflow pode fazer

Conecte MLflow ao Claude, Cursor, ChatGPT e outros