An astronaut overseeing a futuristic data hub
Baixar PDFVersão em Markdown

Conecte Agent A/B Test Calculator ao ChatGPT e Claude

Configure uma vez e funcione no ChatGPT, Claude, Cursor e em qualquer outro cliente que você goste. Tudo roda com segurança em segundo plano, para você relaxar e focar no que realmente importa. Descubra se as variações do seu agente geram melhorias reais e significativas.

Pergunte à IA sobre este Connector

Desenvolvido, mantido e hospedado pela Vinkius.

MCP VERIFICADO · PRONTO PARA PRODUÇÃO · GARANTIA VINKIUS

Waiting for input…

Works with modern AI clients that support MCP, including ChatGPT, Claude, Cursor, and more.

ChatGPTClaudeCursorPerplexityGeminiMicrosoft CopilotRaycastMeta AI

A sua IA faz o trabalho. A gente cuida com segurança.

Nenhuma outra ferramenta de IA te dá isso. O seu workflow roda no cliente que você já ama, a sua conta fica protegida, e você decide o que o agente pode e não pode fazer. É a razão completa para mudar de vez.

Cada Connector vive dentro da nossa infraestrutura, no mesmo lugar onde o seu workflow roda. As três coisas abaixo já fazem parte dele, trabalhando silenciosamente em segundo plano para que você nunca precise pensar nelas. Nada para adicionar, nada para configurar, nada com que se preocupar.

A futuristic MCP client docking bay
V8 Isolate01

Cada Connector roda dentro do seu próprio ambiente lacrado.

Cada Connector roda em seu próprio runtime V8 lacrado — sem acesso aos seus arquivos, ao seu sistema ou a outros servidores. Um Connector nunca enxerga além da sua própria requisição.

Kill Switch02

Um interruptor para todos os agentes. Na hora.

Uma única ação desativa todos os Connectors, revoga todos os tokens e encerra todas as sessões de uma vez. A Governança de IA guarda o registro.

FinOps por usuário03

Limites de gastos que pausam em vez de assustar.

Cada usuário tem suas próprias conexões e credenciais, isoladas das dos demais. O que ultrapassar o seu limite de gastos fica aguardando a sua aprovação, em vez de ser cobrado.

Três controles, embutidos na camada pela qual sua IA se conecta.

Conjunto curado · 3 capacidades

Entregamos só as ações que importam.

Conjunto de capacidades01 / 01

01-03

3 capacidades neste conjunto.

Parte de 3 disponíveis através de Agent A/B Test Calculator.

  1. 01

    Analisar performance de variantes

    Analisa o desempenho de múltiplas variações de agentes para determinar a significância estatística, considerando níveis de confiança e o efeito detectável mínimo (MDE).

  2. 02

    Calcular probabilidade Bayesiana

    Calcula a probabilidade Bayesiana de que uma variação (B) seja melhor do que outra (A), fornecendo uma visão probabilística robusta.

  3. 03

    Estimar requisitos de teste

    Ajuda no planejamento de experimentos, estimando o tamanho amostral e a duração necessários para um teste A/B estatisticamente válido.

Trabalho real

O que as equipes executam de verdade

01

Optimizing Chatbot Flows

You want to know if changing the chatbot's opening script (Variant B) is better than the old one (Variant A). The MCP calculates the relative lift and significance.

02

Improving Checkout Conversion

A/B testing two different checkout flows requires knowing if the observed increase in conversions is real. The MCP provides the statistical proof.

03

Comparing Agent Responses

When two different LLM prompts generate agent responses, this MCP compares their success rates to determine which prompt is superior.

04

Planning Large-Scale Rollouts

Before launching a major agent update, you use the MCP to calculate the exact number of users and time needed to run a conclusive test.

Um connector, todas as IAs

Agent A/B Test Calculator funciona com os clientes de IA mais populares.

Estes são os clientes mais populares, cada um com um guia passo a passo: um link, configurado uma vez, com governança e visibilidade embutidas. E como tudo roda no padrão MCP, a mesma conexão também funciona em qualquer outro cliente compatível — nada para reconstruir.

ClaudeClaudeChatGPTChatGPTGeminiGeminiPerplexityPerplexityGrokGrokMicrosoft CopilotMicrosoft CopilotCursorCursorVS CodeVS CodeWindsurfWindsurfJetBrainsJetBrainsClineClineLangChainLangChainVercel AI SDKVercel AI SDKLovableLovableZ.aiZ.aiRaycastRaycastQwen CodeQwen CodeKimi CodeKimi CodeLe ChatLe Chat

Construindo o seu próprio app? O connector é seu para usar.

Você não precisa de um cliente para colocar Agent A/B Test Calculator para trabalhar: a mesma conexão hospedada entra nas suas aplicações e no código do seu agente, com a mesma governança em cada pedido. Construa com ele, converse com ele — uma conexão para os dois.

Observada, não estimada

Média de 861ms. Rápida em produção.

Agent A/B Test Calculator é verificado diariamente contra o serviço em produção.

Média diáriaPico de 1047ms
3 de out.Hoje
Dia mais rápido
696ms
Dia mais lento
1047ms
Tendência de 14 dias
Desacelerando+5%

Conecte seu cliente

Uma URL. Todos os clientes.

Ative o Connector, copie seu link e cole no cliente que você já usa. 3 capacidades chegam prontas para rodar.

Acesso de prévia · não é autenticação no provedor

O token vk_preview_* pertence à infraestrutura de prévia da Vinkius. Ele permite que o Claude descubra e exiba as capacidades de Agent A/B Test Calculator, para você ver a experiência dentro da sua IA.

Ele não autentica a sua conta com Agent A/B Test Calculator. Ações que exigem credenciais ou dados reais da conta podem não ser executadas até que você ative o Connector e autorize o serviço.

Agent A/B Test Calculator Connector

Tudo pronto. Escolha seu cliente MCP e siga as instruções de configuração.

Link do conectorhttps://edge.vinkius.com/vk_preview_rLQOAZtFk4qc4ty1S7S56y14mXSD5bAfWh5mornv/mcp

Claude Desktop

Siga os passos abaixo para conectar em segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Agent A/B Test Calculator capabilities are ready to use.
Configuração · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "agent-ab-test-calculator-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_rLQOAZtFk4qc4ty1S7S56y14mXSD5bAfWh5mornv/mcp"
    }
  }
}
  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Instruções passo a passo para cada cliente estão no guia. Como conectar

Configuração guiada para o Claude? Configurar Agent A/B Test Calculator no Claude e outras IAs

Veja todos os clientes de IA com quem este connector funciona ↑

Para quem é

Feito para o trabalho que quem usa Agent A/B Test Calculator delega.

Esta ferramenta é essencial para profissionais que dependem de dados para tomar decisões sobre a experiência do usuário ou o comportamento de agentes de IA. Se você precisa provar que uma mudança de comportamento realmente gera valor, este MCP Connector é o seu aliado.

  • 01

    Analista de Dados

    Para calcular significância estatística, valores p e determinar se as diferenças de performance são aleatórias ou reais.

  • 02

    Gerente de Produto

    Para planejar experimentos A/B, estimando o tamanho amostral e a duração necessários antes de lançar novas funcionalidades.

  • 03

    Desenvolvedor de IA

    Para comparar variações de agentes de IA e entender qual comportamento otimiza melhor as taxas de conversão.

FAQ

Perguntas de quem usa Agent A/B Test Calculator.

  • 01

    What is the difference between p-value and significance?

    The p-value tells you the probability of seeing your results if there was actually no difference between the variants. A low p-value (typically below 0.05) suggests the difference is statistically significant.

  • 02

    Do I need to know the MDE before running the test?

    Yes. The Minimum Detectable Effect (MDE) is the smallest difference in conversion rate that you care about detecting. You must define this threshold to calculate the necessary sample size.

  • 03

    Can this MCP handle multi-variant testing?

    Yes. It accounts for complex scenarios, including multi-variant tests, and can apply corrections like Bonferroni corrections to maintain statistical rigor.

  • 04

    Is this capability for comparing agents or just conversion rates?

    It's for both. You use it to compare any two or more variants—whether they are different agent prompts, different UI flows, or different backend models—based on a measurable outcome.

  • 05

    What is the Bayesian probability?

    Unlike traditional p-values, the Bayesian probability estimates the actual likelihood that one variant is better than another, given the data you provide.

  • 06

    How do I know if my agent's performance improvement is real?

    You can use the analyze_variant_performance capability. It calculates the p-value to determine if the observed difference in conversion rates is statistically significant or likely due to chance.

  • 07

    Can I plan how long an experiment should run?

    Yes, the estimate_test_requirements capability calculates the required sample size and the estimated number of days needed to complete a test based on your daily traffic and desired sensitivity.

  • 08

    What is the difference between the frequentist and Bayesian approaches provided?

    The frequentist approach (via analyze_variant_performance) focuses on p-values and significance thresholds, while the Bayesian approach (via calculate_bayesian_probability) provides the direct probability that one variant is better than another.

Explore

Mais em Statistics

Sugestões

Conecte Agent A/B Test Calculator ao Claude, Cursor, ChatGPT e outros