• VERSIONAMENTO
  • SENTIMENTO
  • OTIMIZAÇÃO
  • HUMANO

Como analisar versões de prompts com sua IA

Conecte o Helicone ao seu cliente de IA para transformar logs brutos em insights práticos. Você verá exatamente como as mudanças nas instruções impactam a satisfação do usuário.

Pergunte à IA sobre esta página

Resposta rápida

Como posso comparar iterações de prompts e o feedback dos usuários?

Sua IA busca versões específicas de prompts e o feedback associado para encontrar padrões de desempenho. Isso permite identificar quais palavras ou instruções geram as melhores respostas.

Onde seus insights aparecem.

Os resultados da sua análise

A IA organiza seus dados do Helicone nestas categorias específicas.

VERSIONAMENTO

Histórico de prompts

A IA identifica cada iteração dos seus prompts. Você terá uma visão clara de como suas instruções evoluíram com o tempo.

SENTIMENTO

Correlação de feedback

A IA vincula o feedback do usuário diretamente à versão do prompt utilizada. Você verá quais versões os usuários aprovaram ou rejeitaram.

OTIMIZAÇÃO

Instruções vencedoras

A IA destaca os padrões de prompt mais bem-sucedidos. Isso mostra exatamente o que manter ao escrever sua próxima versão.

HUMANO

Revisão manual

A IA sinaliza casos em que o feedback é conflitante. Você decide quando um prompt precisa de uma reescrita total em vez de apenas um ajuste fino.

O fluxo

O que sua IA faz quando os dados chegam.

A IA faz o trabalho pesado de vasculhar seus logs para que você não precise fazer isso.

  1. Buscar histórico de prompts

    A IA extrai o texto específico e os metadados de cada versão dos seus prompts nos logs.

    get_prompt_versions

  2. Recuperar feedback do usuário

    A IA localiza as avaliações ou comentários deixados pelos usuários para aquelas execuções específicas.

    query_feedback

  3. Cruzar dados

    A IA conecta o texto do prompt às notas de feedback para encontrar a relação estatística entre eles.

    get_prompt_versionsquery_feedback

  4. Resumir descobertas

    A IA apresenta uma comparação clara de quais mudanças de prompt realmente melhoraram a satisfação do usuário.

    query_feedback

Teste

Copie estes comandos para começar.

Use estes prompts para iniciar sua análise imediatamente.

Pontos de partida

Estes são apenas exemplos. Substitua os nomes dos prompts ou tipos de feedback para condizer com sua configuração real no Helicone.

Helicone Connector

Tudo pronto. Escolha seu cliente MCP e siga as instruções de configuração.

Link do conectorhttps://edge.vinkius.com/vk_preview_BY11i3Opi4Qq9KtIJUGQpInAaXPfnwFfbeNDvYuq/mcp

Claude Desktop

Siga os passos abaixo para conectar em segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Helicone capabilities are ready to use.
Configuração · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "helicone-llm-observability-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_BY11i3Opi4Qq9KtIJUGQpInAaXPfnwFfbeNDvYuq/mcp"
    }
  }
}
Copie no chat04

  • Compare a versão 'customer_support_v2' do prompt com a versão 'customer_support_v1' usando o feedback recente dos usuários.

  • Mostre todas as versões de prompts que resultaram em uma avaliação negativa de usuários na última semana.

  • Analise o feedback do prompt 'creative_writer' para entender por que os usuários estão dando notas baixas.

  • Qual versão de prompt possui a maior média de avaliação dos usuários nos meus logs do Helicone?

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Comece aqui

Conecte o Helicone uma vez e comece a perguntar.

Basta vincular sua conta do Helicone. Suas credenciais ficam criptografadas e você pode começar a fazer perguntas sobre seus logs na hora.

Conectar Helicone à sua IA

FAQ

Como esta tarefa funciona.

  • 01

    A IA pode alterar meus prompts no Helicone?

    Não. A IA só pode ler suas versões de prompts e o feedback. Você deve atualizar seus prompts manualmente no seu código ou no painel do Helicone.

  • 02

    A IA pode excluir versões antigas de prompts?

    Não. A IA não tem permissão para excluir ou modificar nenhum dado na sua conta do Helicone.

  • 03

    A IA vê todo o meu tráfego de LLM?

    A IA só vê os dados que você solicita através das ferramentas específicas fornecidas, como versões de prompts e feedbacks.

  • 04

    Posso perguntar sobre IDs de usuários específicos?

    Sim, desde que o feedback desse usuário esteja acessível através da ferramenta query_feedback.

  • 05

    Como a IA sabe qual feedback pertence a qual prompt?

    Ela utiliza os identificadores únicos fornecidos pelo Helicone para cruzar versões específicas de prompts com as entradas de feedback registradas naquelas execuções.

  • Mais dúvidas sobre o Helicone? A página do Connector responde. Veja tudo o que o Helicone Connector pode fazer

Conecte Helicone ao Claude, Cursor, ChatGPT e outros