AIで実験の検定力とピーキングリスクをモニタリングする方法

AIが専用の統計ツールを用いて、現在の検定力と偽陽性の発生確率を算出します。これにより、結果が出る前に誤った判断を下すのを防げます。信頼性を確保するために、あとどれくらいのデータが必要かも正確に把握できます。

1. 01

   サンプル強度の評価

   現在のコンバージョン率とサンプルサイズを分析し、テストに十分な検出力があるかを判断します。

   calculate_statistical_power
2. 02

   ピーキングエラーの検知

   頻繁なモニタリングによって偽陽性の確率が膨れ上がっていないかをチェックします。

   check_peeking_risk
3. 03

   必要量の予測

   現在のデータに基づき、有効な結果を得るために必要な総ボリュームを推定します。

   calculate_statistical_power
4. 04

   無効な結果のフラグ立て

   現在の統計的強度が低すぎて、観測されたリフトを信頼できない場合に警告を出します。

   check_peeking_risk

A/B Test Significance Calculator Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_fzQ1aS9NSSO5zJk9otHteGWMsIrsHlHpW7aJ8mX9/mcpコピー

Claude Desktop

以下の手順で数秒で接続できます。

1. 1In Claude Desktop, open Settings → Connectors.
2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
3. 3Click Add and start a new chat — A/B Test Significance Calculator capabilities are ready to use.

設定 · claude_desktop_config.jsonコピー

{
  "mcpServers": {
    "ab-test-significance-calculator-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_fzQ1aS9NSSO5zJk9otHteGWMsIrsHlHpW7aJ8mX9/mcp"
    }
  }
}

• Claude
• ChatGPT
• Cursor
• VS Code
• Windsurf
• Claude Code
• JetBrains
• Cline

お使いのクライアントをMCPにワンクリックで接続できます。認証情報は暗号化されて安全に保持され、AIが実験データに直接アクセスできるようになります。

• 01

  AIがOptimizelyの実験設定を変更することはありますか？

  いいえ。AIは計算を行うためにデータを読み取るだけです。実行中の実験や外部ツールの設定を書き換えることはできません。

• 02

  有意性に達したとき、AIが自動的にテストを停止しますか？

  いいえ。AIは計算結果とリスク評価を提供しますが、テストをいつ止めるかを決定するのはユーザー自身です。

• 03

  どのようなデータを提供する必要がありますか？

  現在のサンプルサイズ、コンバージョン率、および比較対象となるベースラインのデータが必要です。

• 04

  多変量テスト（Multivariate tests）の検定力も計算できますか？

  現在のツールは、検定力とピーキングリスクを確認するための標準的なA/Bテスト向けに設計されています。

• 05

  AIが実験ログを削除することはありませんか？

  はい、ありません。このMCPはデータの読み取り専用です。ファイルを削除したり上書きしたりする機能は持っていません。

• A/Bテスト有意性計算機についてさらに詳しく知りたいですか？コネクターのページで確認できます。 A/Bテスト有意性計算機コネクターの全機能を見る