An astronaut overseeing a futuristic data hub
PDFをダウンロードMarkdown版

Agent A/B Test CalculatorをAIに接続

一度設定すれば、ChatGPT、Claude、Cursorなど、お気に入りのクライアントでどれでも動きます。すべては裏側で安全に動くので、あなたは安心して本当に大切なことに集中できます。データに基づき、エージェントの改善効果を統計的に証明しましょう。

このConnectorについてAIに質問

Vinkiusが開発・運用・ホスティング。

MCP認証済み · 本番環境対応 · Vinkius保証

Waiting for input…

Works with modern AI clients that support MCP, including ChatGPT, Claude, Cursor, and more.

ChatGPTClaudeCursorPerplexityGeminiMicrosoft CopilotRaycastMeta AI

AIが仕事をこなします。私たちが安全に守ります。

他のAIツールではこれは手に入りません。ワークフローはお気に入りのクライアントで動き、アカウントは守られ、エージェントに何を許すかはあなたが決めます。これこそ乗り換えるべき理由です。

すべてのConnectorは当社のインフラストラクチャの中、あなたのワークフローが動くのと同じ場所にあります。下の3つはすでにその一部で、背景で静かに働き、あなたが意識する必要がないようにしてくれます。追加するものも、設定するものも、心配することもありません。

A futuristic MCP client docking bay
V8 Isolate01

各Connectorは独自の密閉された環境内で実行されます。

各Connectorは独自の封印されたV8ランタイムで実行され、ファイル、システム、他のサーバーへのアクセスはありません。Connectorが自身のリクエストを超えて中身を見ることはありません。

Kill Switch02

1つのスイッチで全エージェントを停止。即座に。

1つのアクションで全Connectorを無効化し、全トークンを失効させ、全セッションを終了します。AI Governanceが記録を保持します。

ユーザーごとのFinOps03

驚きではなく、一時停止する支出制限。

各ユーザーは自身の接続と認証情報を持ち、他から隔離されています。支出制限を超える操作は課金されず、あなたの承認を待ちます。

3つのコントロールが、AIが接続するレイヤーに 組み込まれています。

厳選セット · 3機能

届けるのは、本当に必要な動作だけです。

機能セット01 / 01

01-03

このセットには3機能あります。

Agent A/B Test Calculatorで使える3機能の一部です。

  1. 01

    バリアントのパフォーマンス分析

    複数のAIエージェントのバリアントのパフォーマンスを分析し、統計的な有意差を判定します。p値や信頼区間を算出できます。

  2. 02

    ベイズ確率の計算

    ベイズ分布を用いて、バリアントBがバリアントAよりも優れている確率を算出します。より深い確信度を推定できます。

  3. 03

    テストに必要な要件を推定

    A/Bテストを実施するにあたり、必要なサンプルサイズとテストの期間を事前に計算し、実験計画を立てるのを支援します。

実際の業務

チームが実際に回している作業

01

Optimizing Chatbot Flows

You want to know if changing the chatbot's opening script (Variant B) is better than the old one (Variant A). The MCP calculates the relative lift and significance.

02

Improving Checkout Conversion

A/B testing two different checkout flows requires knowing if the observed increase in conversions is real. The MCP provides the statistical proof.

03

Comparing Agent Responses

When two different LLM prompts generate agent responses, this MCP compares their success rates to determine which prompt is superior.

04

Planning Large-Scale Rollouts

Before launching a major agent update, you use the MCP to calculate the exact number of users and time needed to run a conclusive test.

1つのConnector、すべてのAI

Agent A/B Test Calculatorは、最も人気のあるAIクライアントで動きます。

これは最も人気のあるクライアントで、それぞれにステップバイステップのガイドがあります。リンクは1つ、設定は一度、ガバナンスと可視性は最初から組み込み。しかもすべてMCP標準で動くため、同じ接続は他の対応クライアントでもそのまま使えます。作り直す必要はありません。

ClaudeClaudeChatGPTChatGPTGeminiGeminiPerplexityPerplexityGrokGrokMicrosoft CopilotMicrosoft CopilotCursorCursorVS CodeVS CodeWindsurfWindsurfJetBrainsJetBrainsClineClineLangChainLangChainVercel AI SDKVercel AI SDKLovableLovableZ.aiZ.aiRaycastRaycastQwen CodeQwen CodeKimi CodeKimi CodeLe ChatLe Chat

自社アプリを作っていますか？Connectorはあなたのもの。

Agent A/B Test Calculatorを働かせるのにクライアントは不要です。同じホストされた接続が、あなたのアプリやエージェントのコードにそのまま組み込め、すべてのリクエストに同じガバナンスが適用されます。作るのも、会話するのも、1つの接続で両方。

実測値、推定値ではない

平均861ms。本番環境で高速。

Agent A/B Test Calculatorは本番サービスに対して毎日チェックされています。

日次平均最大1047ms
10月3日今日
最速日
696ms
最遅日
1047ms
14日間の傾向
遅延傾向+5%

クライアントを接続

1つのURL。すべてのクライアント。

Connectorを有効化し、リンクをコピーして、いつも使うクライアントに貼り付けるだけ。3個の機能がすぐに使えます。

プレビューアクセス · プロバイダー認証ではありません

vk_preview_* トークンは Vinkius のプレビューインフラに属します。Claude が Agent A/B Test Calculator のケイパビリティを検出して表示できるようにし、AI の中でその体験を確認できます。

このトークンは Agent A/B Test Calculator のアカウントを認証するものではありません。認証情報や実際のアカウントデータが必要なアクションは、Connector を有効化してサービスを承認するまで実行されない場合があります。

Agent A/B Test Calculator Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_rLQOAZtFk4qc4ty1S7S56y14mXSD5bAfWh5mornv/mcp

Claude Desktop

以下の手順で数秒で接続できます。

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Agent A/B Test Calculator capabilities are ready to use.
設定 · claude_desktop_config.jsonコピー
{
  "mcpServers": {
    "agent-ab-test-calculator-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_rLQOAZtFk4qc4ty1S7S56y14mXSD5bAfWh5mornv/mcp"
    }
  }
}
  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

各クライアントの手順ガイドはこちらです。 接続方法

Claude向けのガイド付きセットアップ？ Agent A/B Test CalculatorをClaudeや他のAIに設定する

このConnectorが対応するすべてのAIクライアントを見る ↑

対象ユーザー

Agent A/B Test Calculatorユーザーが任せたい仕事のために。

AIエージェントの改善サイクルを回すプロダクトマネージャーやデータサイエンティストに最適です。エージェントの挙動変更が本当にビジネス成果に結びついているのかを、感覚ではなく統計的な根拠で証明したい方に役立ちます。

  • 01

    プロダクトマネージャー

    エージェントの機能改善の優先順位付けや、新しい挙動の導入効果を検証する際に、客観的なデータ根拠を求めます。

  • 02

    データサイエンティスト

    A/Bテストの設計、サンプルサイズの計算、そしてp値や信頼区間を用いた統計的検証を正確に行う必要があります。

  • 03

    グロースマーケター

    コンバージョン率の微細な差がビジネスに与える影響を最大化するため、統計的に有意な改善点を見つけ出したい方におすすめです。

FAQ

Agent A/B Test Calculatorユーザーからのよくある質問。

  • 01

    What is the difference between p-value and significance?

    The p-value tells you the probability of seeing your results if there was actually no difference between the variants. A low p-value (typically below 0.05) suggests the difference is statistically significant.

  • 02

    Do I need to know the MDE before running the test?

    Yes. The Minimum Detectable Effect (MDE) is the smallest difference in conversion rate that you care about detecting. You must define this threshold to calculate the necessary sample size.

  • 03

    Can this MCP handle multi-variant testing?

    Yes. It accounts for complex scenarios, including multi-variant tests, and can apply corrections like Bonferroni corrections to maintain statistical rigor.

  • 04

    Is this capability for comparing agents or just conversion rates?

    It's for both. You use it to compare any two or more variants—whether they are different agent prompts, different UI flows, or different backend models—based on a measurable outcome.

  • 05

    What is the Bayesian probability?

    Unlike traditional p-values, the Bayesian probability estimates the actual likelihood that one variant is better than another, given the data you provide.

  • 06

    How do I know if my agent's performance improvement is real?

    You can use the analyze_variant_performance capability. It calculates the p-value to determine if the observed difference in conversion rates is statistically significant or likely due to chance.

  • 07

    Can I plan how long an experiment should run?

    Yes, the estimate_test_requirements capability calculates the required sample size and the estimated number of days needed to complete a test based on your daily traffic and desired sensitivity.

  • 08

    What is the difference between the frequentist and Bayesian approaches provided?

    The frequentist approach (via analyze_variant_performance) focuses on p-values and significance thresholds, while the Bayesian approach (via calculate_bayesian_probability) provides the direct probability that one variant is better than another.

さがす

Statisticsの他のコネクタ

おすすめ

『Agent A/B Test Calculator』を Claude、Cursor、ChatGPT などに接続