AIでA/Bテストに必要なサンプルサイズを算出する方法

現在のコンバージョン率、検出したい最小効果量（MDE）、および希望する信頼水準をAIに伝えてください。AIがcalculate_required_sample_sizeツールを使用して、各グループに必要な正確なユーザー数を算出します。統計的有意性を確保するために必要な具体的な数値が得られます。

1. 01

   パラメータの読み取り

   チャットのプロンプトから、ベースラインのコンバージョン率、目標とするリフト、および有意水準をAIが収集します。

   calculate_required_sample_size
2. 02

   統計計算

   指定された検定力とアルファ制約に基づき、エージェントがN（サンプルサイズ）を解くための計算を実行します。

   calculate_required_sample_size
3. 03

   実現可能性の確認

   必要なサンプルサイズと現在のトラフィックパターンを比較し、そのテストが実行可能かどうかをAIが判断します。

   calculate_required_sample_size
4. 04

   結果の提示

   最終的な数値と、その数値に至った論理的なプロセスを、分かりやすい形式でAIが提示します。

   calculate_required_sample_size

AB Test Sample Size Calculator Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_r2w7FicRhYLb2yLUrh65lss0cEO4Bcdo5mApGeZ1/mcpコピー

Claude Desktop

以下の手順で数秒で接続できます。

1. 1In Claude Desktop, open Settings → Connectors.
2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
3. 3Click Add and start a new chat — AB Test Sample Size Calculator capabilities are ready to use.

設定 · claude_desktop_config.jsonコピー

{
  "mcpServers": {
    "ab-test-sample-size-calculator-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_r2w7FicRhYLb2yLUrh65lss0cEO4Bcdo5mApGeZ1/mcp"
    }
  }
}

• Claude
• ChatGPT
• Cursor
• VS Code
• Windsurf
• Claude Code
• JetBrains
• Cline

ワンクリックでこのMCPをお使いのAIクライアントに接続できます。認証情報は暗号化され、計算ツールはすぐに利用可能な状態になります。

• 01

  AIが実際のA/Bテストを実行することはできますか？

  いいえ。AIが行うのは必要なサンプルサイズの算出のみです。実験の設定と実行は、お客様自身がテストプラットフォームで行う必要があります。

• 02

  有意水準はAIが決定しますか？

  いいえ。計算に使用する有意水準と検定力を、お客様自身がAIに指示する必要があります。

• 03

  AIが既存のコンバージョン率を変更することはできますか？

  いいえ。AIは計算のために提供された数値を読み取るだけで、実際のウェブサイトやデータベースを書き換えることはできません。

• 04

  必要なサンプルサイズが大きすぎる場合はどうなりますか？

  AIはその数値を提示します。その規模のテストを実行するための十分なトラフィックがあるかどうかは、お客様自身で判断してください。

• 05

  多変量テスト（Multivariate Test）のサンプルサイズも計算できますか？

  このツールは標準的なA/Bテスト向けに設計されています。複雑な多変量テストの場合は、各バリエーションの具体的なパラメータを個別に指定してください。

• AB Test Sample Size Calculatorについて他に質問がありますか？コネクタのページで回答しています。 AB Test Sample Size Calculatorコネクタの全機能を見る