• EXECUÇÕES
  • MÉTRICAS
  • RESULTADOS
  • HUMANO

Como fazer avaliações de RAG com seu cliente de IA

Conecte o Ragas uma única vez para que seu agente execute testes em seus pipelines de RAG e traga os resultados direto para a conversa.

Pergunte à IA sobre esta página

Resposta rápida

Como posso rodar avaliações de RAG pela minha IA?

Você pede ao seu agente para iniciar uma avaliação em um conjunto de dados específico e ele usa o Ragas para calcular métricas como fidelidade ou relevância. Os resultados de desempenho aparecem na sua janela de chat imediatamente. Isso permite que você ajuste seus prompts e a recuperação de contexto sem sair do seu ambiente de trabalho.

Os resultados.

Onde seus dados de avaliação chegam.

A IA cuida de toda a parte pesada de cálculos e processamento de dados.

EXECUÇÕES

Novos ciclos de teste

A IA inicia uma nova rodada de avaliação nos conjuntos de dados fornecidos. Você tem um ponto de partida limpo para cada iteração de teste.

MÉTRICAS

Tipos de pontuação

Seu agente pode verificar quais métricas específicas estão disponíveis para sua configuração atual. Isso ajuda você a decidir o que medir.

RESULTADOS

Scores de desempenho

A IA traz as pontuações finais direto para o seu chat. Você vê exatamente como seu sistema RAG está performando.

HUMANO

Ajustes manuais

Você decide quais conjuntos de dados testar e quais métricas são prioritárias. A IA não altera seus dados ou parâmetros de teste sem o seu comando.

O fluxo

O que sua IA faz ao solicitar uma avaliação.

A IA funciona como uma ponte entre sua interface de chat e o motor do Ragas.

  1. Identificar métricas

    A IA verifica quais métricas de avaliação são suportadas para sua tarefa de RAG específica.

    list_metrics

  2. Iniciar o teste

    A IA dá início ao processo de avaliação usando o conjunto de dados que você definiu.

    run_evaluation

  3. Buscar pontuações

    Após os cálculos, a IA coleta os dados de desempenho resultantes.

    get_results

  4. Relatar descobertas

    A IA apresenta as pontuações finais e o detalhamento das métricas na sua janela de chat.

    get_results

Teste

Copie estes comandos para começar.

Use estes prompts para iniciar sua primeira avaliação.

Pontos de partida

Substitua o texto entre colchetes pelos nomes reais dos seus conjuntos de dados ou pelas métricas desejadas.

Ragas Connector

Tudo pronto. Escolha seu cliente MCP e siga as instruções de configuração.

Link do conectorhttps://edge.vinkius.com/vk_preview_mQUV7klN4rh09rRcp9ld3cwceCP25oL5Lk8res4B/mcp

Claude Desktop

Siga os passos abaixo para conectar em segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Ragas capabilities are ready to use.
Configuração · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "ragas-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_mQUV7klN4rh09rRcp9ld3cwceCP25oL5Lk8res4B/mcp"
    }
  }
}
Copie no chat04

  • Execute uma avaliação no meu conjunto de dados 'customer_support_v2'.

  • Quais métricas posso usar com o Ragas para este conjunto de dados?

  • Traga os resultados da última execução de avaliação que eu iniciei.

  • Rode uma nova avaliação em 'product_docs_final' usando as métricas de faithfulness e relevancy.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Comece aqui

Conecte o Ragas uma vez e depois é só pedir.

Basta seguir a configuração de um clique para vincular o Ragas ao seu cliente. Suas credenciais permanecem criptografadas e seguras conosco.

Conectar Ragas à sua IA

FAQ

Como o conector Ragas funciona

  • 01

    A IA pode alterar meu conjunto de dados original?

    Não. A IA apenas lê os conjuntos de dados para realizar as avaliações; ela não pode modificar ou excluir seus dados de origem.

  • 02

    Posso rodar avaliações em qualquer arquivo aleatório?

    Não. A IA só consegue rodar avaliações em conjuntos de dados que já estejam acessíveis através da conexão com o Ragas.

  • 03

    A IA escolhe as métricas por mim?

    A IA pode sugerir métricas usando a ferramenta de listagem, mas você deve dizer quais quer usar em uma execução específica.

  • 04

    A IA pode consertar meu pipeline de RAG automaticamente?

    Não. A IA fornece as pontuações e identifica problemas, mas você precisa fazer as alterações reais no seu código ou nos seus dados.

  • 05

    Como eu vejo as pontuações?

    Basta pedir à sua IA para buscar os resultados da execução de avaliação mais recente.

  • Mais dúvidas sobre o Ragas? Veja tudo o que o conector Ragas pode fazer

Conecte Ragas ao Claude, Cursor, ChatGPT e outros