• LÓGICA
  • DADOS
  • TENDÊNCIAS
  • HUMANO

Como corrigir erros de prompt de LLM com sua IA

Conecte o Datadog AI ao seu agente para inspecionar os dados brutos de cada requisição com erro. Pare de tentar adivinhar por que os prompts falham e passe a visualizar os payloads reais dos traces.

Pergunte à IA sobre esta página

Resposta rápida

Como descubro por que meu prompt de LLM está falhando?

Seu agente utiliza os dados de trace do Datadog para extrair spans e payloads específicos relacionados às suas chamadas de LLM. Isso permite identificar o momento exato em que ocorre um erro de lógica. Você poderá visualizar as entradas e saídas que causaram o problema.

Resultados do debug

Onde seus dados de depuração aparecem.

A IA organiza as informações dos traces nestes resultados específicos.

LÓGICA

Pontos de falha do prompt

O agente identifica o span exato onde a lógica do prompt divergiu da sua intenção. Você terá uma visão clara da instrução que falhou.

DADOS

Inspeção de payload

A IA extrai os payloads brutos dos traces no Datadog. Você vê exatamente o que o modelo recebeu comparado ao que você esperava.

TENDÊNCIAS

Padrões de erro

O agente agrupa falhas de traces semelhantes. Isso ajuda a entender se o erro no prompt é um caso isolado ou um problema sistêmico.

HUMANO

Correções manuais

A IA sinaliza os spans que exigem que você reescreva o template do prompt manualmente. Você decide como corrigir a lógica no seu código.

O fluxo

O que sua IA faz quando um prompt falha.

Em vez de vasculhar dashboards, basta pedir ao seu agente para encontrar o problema.

  1. Localizar traces

    O agente busca por spans específicos de execução de LLM dentro dos seus traces do Datadog.

    search_llm_spans

  2. Extrair payloads

    O agente extrai os dados de entrada e saída dos spans identificados.

    search_llm_spans

  3. Analisar lógica

    O agente compara o prompt enviado ao modelo com o erro ou a saída inesperada gerada.

    search_llm_spans

  4. Resumir erros

    O agente apresenta um resumo direto de por que o prompt não atendeu aos seus requisitos.

    search_llm_spans

Teste

Copie estes comandos para começar.

Use estes prompts para iniciar sua sessão de depuração.

Pontos de partida

Estes são apenas exemplos. Substitua os nomes de serviços ou tipos de erro para corresponder ao seu ambiente real no Datadog.

Datadog Connector

Tudo pronto. Escolha seu cliente MCP e siga as instruções de configuração.

Link do conectorhttps://edge.vinkius.com/vk_preview_bWdhwHEHDioKsLvhV1Lvv7ec4t2gm8k5cIgCZeWx/mcp

Claude Desktop

Siga os passos abaixo para conectar em segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Datadog capabilities are ready to use.
Configuração · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "datadog-ai-llm-observability-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_bWdhwHEHDioKsLvhV1Lvv7ec4t2gm8k5cIgCZeWx/mcp"
    }
  }
}
Copie no chat04

  • Encontre os últimos cinco spans de LLM no Datadog onde o prompt resultou em um erro de validação.

  • Busque nos traces do Datadog por spans de LLM no serviço 'production-api' que apresentaram alta latência.

  • Mostre o payload do span de LLM que falhou durante o fluxo de autenticação de usuário.

  • Analise os spans de LLM recentes e me diga se existe um padrão no motivo pelo qual o prompt 'summarize_text' está falhando.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Comece aqui

Conecte o Datadog AI uma vez e pronto.

Basta vincular sua conta do Datadog. Suas credenciais ficam criptografadas e você pode começar a perguntar sobre seus traces imediatamente.

Conectar Datadog AI à sua IA

FAQ

Como esta tarefa funciona.

  • 01

    A IA pode corrigir meu prompt no Datadog?

    Não. A IA apenas lê os traces e indica o que deu errado. Você deve atualizar a lógica do prompt no seu próprio código.

  • 02

    A IA apaga algum trace?

    Não. A IA tem apenas acesso de leitura aos seus spans de LLM através da ferramenta de busca. Ela não pode modificar ou excluir seus dados no Datadog.

  • 03

    Posso buscar por mensagens de erro específicas?

    Sim. Você pode pedir ao agente para encontrar spans que contenham strings de erro ou códigos de status específicos encontrados nos seus traces.

  • 04

    Isso funciona com qualquer provedor de LLM?

    Funciona com qualquer provedor, desde que você envie esses traces para o Datadog para observabilidade.

  • 05

    A IA pode criar novos monitores no Datadog?

    Não. As ferramentas atuais permitem apenas que o agente busque e inspecione spans de LLM já existentes.

  • Mais dúvidas sobre o Datadog AI? Veja tudo o que o Datadog AI Connector pode fazer

Conecte Datadog ao Claude, Cursor, ChatGPT e outros