• ANÁLISIS
  • IDENTIFICACIÓN
  • REPORTES
  • HUMANO

Cómo comparar experimentos RAG con tu IA

Conecta Ragas con tu cliente de IA para analizar el rendimiento entre distintas versiones de modelos o configuraciones de prompts.

Pregunta a la IA sobre esta página

Respuesta rápida

¿Cómo puedo comparar experimentos RAG con mi IA?

Puedes traer datos específicos y métricas de tus experimentos directamente al chat para realizar comparaciones paralelas. Tu IA se encarga del trabajo pesado de analizar qué configuración obtuvo los mejores resultados. Así verás claramente cómo afectan los cambios en la recuperación o generación al rendimiento final.

Dónde aterrizan tus datos.

Los resultados de tu análisis.

La IA organiza tus datos de Ragas en estos resultados específicos.

ANÁLISIS

Comparativas de rendimiento

La IA extrae resultados de tus ejecuciones para mostrarte exactamente cómo se comparan las distintas versiones entre sí.

IDENTIFICACIÓN

Ejecuciones óptimas

Tu agente identifica qué configuraciones específicas alcanzan tus métricas objetivo de forma más constante.

REPORTES

Resumen de resultados

Obtén un desglose limpio de las métricas de todos tus experimentos registrados.

HUMANO

Ajuste manual

La IA detecta puntos débiles en tu flujo de RAG, pero tú decides qué cambios aplicar en los prompts o modelos.

El flujo

Qué hace tu IA cuando llegan los datos.

La IA actúa como tu analista de datos para la evaluación de RAG.

  1. Localizar ejecuciones

    La IA busca en tu historial de Ragas las suites de prueba específicas que quieres comparar.

    list_experiments
  2. Seleccionar un experimento

    Al elegir una ejecución, la IA extrae los detalles de la configuración de esa prueba.

    get_experiment
  3. Extraer métricas

    La IA obtiene las puntuaciones y los datos de evaluación de la ejecución completada.

    get_results
  4. Comparar rendimiento

    La IA utiliza los resultados obtenidos para resaltar diferencias en fidelidad, relevancia u otras métricas.

    get_results

Pruébalo

Copia estos ejemplos para empezar.

Usa estos prompts para iniciar tu análisis.

Puntos de partida

Sustituye los nombres o IDs de los experimentos por tus identificadores reales de Ragas.

Ragas Connector

Todo listo. Elige tu cliente MCP y sigue las instrucciones de configuración.

Enlace del conectorhttps://edge.vinkius.com/vk_preview_mQUV7klN4rh09rRcp9ld3cwceCP25oL5Lk8res4B/mcp

Claude Desktop

Sigue los pasos siguientes para conectarte en segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Ragas capabilities are ready to use.
Configuración · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "ragas-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_mQUV7klN4rh09rRcp9ld3cwceCP25oL5Lk8res4B/mcp"
    }
  }
}
Copia en el chat04
  • Lista todos mis experimentos RAG recientes para ver cuáles puedo comparar.

  • Compara los resultados del experimento 'rag_v1_test' y 'rag_v2_test'.

  • Muéstrame los resultados del experimento llamado 'production_baseline'.

  • ¿Qué experimento de mi lista tiene la puntuación de fidelidad más alta?

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Empieza aquí

Conecta Ragas una vez y pregunta.

Solo tienes que vincular tu cuenta de Ragas. Tus credenciales permanecen cifradas y podrás preguntar a tu IA sobre tus datos de experimentos de inmediato.

Conecta Ragas con tu IA

FAQ

Cómo funciona esta tarea.

  • 01

    ¿Puede la IA cambiar la configuración de mis experimentos?

    No. La IA solo puede leer y analizar los datos de experimentos existentes. Debes cambiar las configuraciones manualmente en tu entorno de Ragas.

  • 02

    ¿Puede la IA borrar resultados de experimentos antiguos?

    No. Este MCP es de solo lectura para tus datos de experimentos. No puede borrar ni modificar ninguno de tus registros de Ragas.

  • 03

    ¿Puedo comparar dos frameworks de RAG diferentes?

    Sí, siempre que ambos conjuntos de experimentos estén registrados en Ragas y sean accesibles a través del conector.

  • 04

    ¿Calcula la IA las métricas por sí misma?

    No. La IA recupera las métricas ya calculadas por Ragas y las interpreta para ti.

  • 05

    ¿Puedo ver los datos brutos de una ejecución específica?

    Sí. La IA puede extraer los resultados específicos de cualquier experimento que identifiques.

  • ¿Tienes más dudas sobre Ragas? Ver todo lo que puede hacer el conector de Ragas

Conecta Ragas a Claude, Cursor, ChatGPT y más