• ANÁLISE
  • IDENTIFICAÇÃO
  • RELATÓRIOS
  • HUMANO

Como comparar experimentos RAG com seu AI

Conecte o Ragas ao seu cliente de IA para analisar o desempenho entre diferentes versões de modelos ou configurações de prompts.

Pergunte à IA sobre esta página

Resposta rápida

Como posso comparar experimentos RAG com meu AI?

Você pode trazer dados específicos de experimentos e resultados de métricas para o chat para fazer comparações diretas. O AI faz o trabalho pesado de analisar qual configuração gerou as melhores pontuações. Assim, você visualiza claramente como mudanças na recuperação ou na geração afetam o desempenho.

Onde seus dados chegam.

Os resultados da sua análise.

O AI organiza seus dados do Ragas nestes resultados específicos.

ANÁLISE

Comparações de desempenho

O AI extrai resultados das suas execuções para mostrar como diferentes versões se comparam entre si.

IDENTIFICAÇÃO

Execuções de melhor desempenho

Seu agente identifica quais configurações específicas atingiram suas métricas alvo de forma mais consistente.

RELATÓRIOS

Resumo de resultados

Obtenha um detalhamento limpo das métricas de todos os seus experimentos registrados.

HUMANO

Ajuste manual

O AI identifica pontos fracos no seu pipeline RAG, mas você decide quais mudanças de prompt ou modelo implementar.

O fluxo

O que seu AI faz quando os dados chegam.

O AI atua como seu analista de dados para avaliação de RAG.

  1. Encontrar execuções

    O AI vasculha seu histórico do Ragas para encontrar os conjuntos de testes específicos que você quer comparar.

    list_experiments

  2. Selecionar um experimento

    Ao escolher uma execução, o AI extrai os detalhes da configuração específica daquele teste.

    get_experiment

  3. Trazer as métricas

    O AI busca as pontuações reais e os dados de avaliação da execução concluída.

    get_results

  4. Comparar desempenho

    O AI usa os resultados obtidos para destacar diferenças em fidelidade, relevância ou outras métricas.

    get_results

Teste

Copie estes comandos para começar.

Use estes prompts para iniciar sua análise.

Pontos de partida

Substitua os nomes ou IDs dos experimentos pelos identificadores reais das suas execuções no Ragas.

Ragas Connector

Tudo pronto. Escolha seu cliente MCP e siga as instruções de configuração.

Link do conectorhttps://edge.vinkius.com/vk_preview_mQUV7klN4rh09rRcp9ld3cwceCP25oL5Lk8res4B/mcp

Claude Desktop

Siga os passos abaixo para conectar em segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Ragas capabilities are ready to use.
Configuração · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "ragas-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_mQUV7klN4rh09rRcp9ld3cwceCP25oL5Lk8res4B/mcp"
    }
  }
}
Copie no chat04

  • Liste todos os meus experimentos RAG recentes para eu ver quais posso comparar.

  • Compare os resultados do experimento 'rag_v1_test' e 'rag_v2_test'.

  • Mostre-me os resultados do experimento chamado 'production_baseline'.

  • Qual experimento da minha lista tem a maior pontuação de fidelidade?

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Comece aqui

Conecte o Ragas uma vez e depois é só perguntar.

Basta vincular sua conta do Ragas. Suas credenciais ficam criptografadas e você pode começar imediatamente a perguntar ao seu AI sobre os dados dos seus experimentos.

Conectar Ragas ao seu AI

FAQ

Como esta tarefa funciona.

  • 01

    O AI pode alterar as configurações do meu experimento?

    Não. O AI pode apenas ler e analisar os dados de experimentos existentes. Você deve alterar as configurações no seu ambiente Ragas manualmente.

  • 02

    O AI pode excluir resultados de experimentos antigos?

    Não. Este MCP é apenas de leitura para seus dados de experimento. Ele não pode excluir ou modificar nenhum registro do Ragas.

  • 03

    Posso comparar dois frameworks RAG diferentes?

    Sim, desde que ambos os conjuntos de experimentos estejam registrados no Ragas e acessíveis via conector.

  • 04

    O AI calcula as métricas por conta própria?

    Não. O AI recupera as métricas já calculadas pelo Ragas e as interpreta para você.

  • 05

    Posso ver os dados brutos de uma execução específica?

    Sim. O AI pode extrair os resultados específicos de qualquer experimento que você identificar.

  • Mais dúvidas sobre o Ragas? Veja tudo o que o conector Ragas pode fazer

Conecte Ragas ao Claude, Cursor, ChatGPT e outros