A/Bテスト有意差判定ツール
「A/BテストでBが良さそうだけど、信じていい？」を判定する無料ツール。A/B各案の人数とCV数を入れるだけで、CVRの差が本物か偶然の誤差かを統計判定(z検定・p値)し、上司にそのまま出せる報告文も自動生成します。
- 登録・ログイン不要
- 無料
- 入力値をサーバーに送信しません
A案とB案の人数と成果数を入力してください
成果につながった割合（成果率）
①〜④を入れると、結果を評価するときの注意点や、切り替えた場合の成果数の試算を出します。
この結果を報告する
判定・数値・次の行動をまとめた文章を、そのまま貼り付けられます。
判定の根拠を見る開く ＋
p値が5%未満なら「有意差あり」と判定します。差がないと仮定したとき、今回以上の差が出る確率です。勝つ確率や改善幅の大きさを示す値ではありません。
①〜④を入れると、差が取りうる幅を描きます。その幅が0をまたぐかどうかを参考にし、最終判定はp値で確認します。
参考 — AとBそれぞれの成果率(CVR)
信頼区間の読み方
95%信頼区間は「本当の成果率はこのあたりに収まっていそう」という幅です。人数が少ないほど幅は広くなります。
①〜④を入れると、AとBの区間の重なりを判定します。
判定は有意水準5%・両側検定です。目安として各案のCVが30件以上たまってから判定を。テストを始める前の必要人数はサンプルサイズ計算ツールで。入力値は外部に送信されません。
A/Bテストの結果(見せた人数と成果の数)を入れるだけで、AとBの差が統計的な有意差があるかを判定します。
入力内容はブラウザ内だけで計算・保存され、サーバーには送信されません。「条件のURL」も入力値を#以降に載せるためサーバーへは送られませんが、URLを共有した相手は入力値を見られます。無料・登録不要で使えます。
USE CASESこんな場面で使える
- LP・広告のA/Bテスト判定「良さそう」を統計的に確認する
- テスト結果の評価事前に決めた人数・期間で有意差と改善幅を確認する
- 上司・クライアントへの報告「95%水準で有意」と根拠つきで説明する
FORMULA計算式・仕組みと根拠
- z = (CVR_B − CVR_A) ÷ 標準誤差(標準誤差 = √( p̄(1−p̄) × (1/n_A + 1/n_B) )、p̄は両群合算のCVR)
- p値 = 「本当は差がない」と仮定したとき、今回以上に極端な差が観測される確率(両側検定)。p < 0.05 で95%水準の有意と判定
- 根拠: 2群の比率の差に対するz検定は、A/Bテストの判定で最も広く使われる標準的な統計手法です。
EXAMPLE入力例と結果の読み方
Aが5,000訪問で100CV、Bが5,000訪問で130CVなら、いちばん上の「差(B−A)の信頼区間」が +0.01pt 〜 +1.19pt と描かれ、まるごと0より右にあることが見えます(最終判定はp値を使います。区間は非プール推定、検定は帰無仮説下のプール推定のため、境界付近では一致しない場合があります。下段にはAとBそれぞれのCVR 2.00%・2.60%を参考に並べています)。z値は約2.00・p値は約0.045。「差がない」と仮定した場合にこれ以上の差が出る確率が4.5%と小さいため、95%水準で統計的に有意と判定されます。逆にp値が0.2なら、+30%の差があるように見えてもまだ偶然で説明できる範囲、と読みます。統計的に有意でも、改善幅が実務的に意味のある大きさかは別途判断してください。
PITFALLSよくある間違い
- テスト途中で何度も結果を見て、有意になった瞬間に打ち切る(偽陽性が急増する「ピーキング」)
- 「有意差なし」を「効果なし」と結論する(サンプル不足で検出できていないだけの可能性)
- 3パターン以上を同時に比較し、それぞれをp<0.05で判定する(多重検定で誤判定率が上がる)
NOTES境界条件・注意点
- 両側検定・有意水準5%が基準です(p<0.10は「傾向あり」として参考表示)
- CVR(比率)専用です。客単価・滞在時間など平均値の比較にはt検定など別の手法が必要です
- 各案の成果あり・成果なしがそれぞれ10件以上のときだけ正規近似で判定します。人数は正の整数、CV数は0以上かつ人数以下の整数が必要です
A/Bテストの「有意差」とは(結果を信じてよいかの物差し)
A/Bテストで「BのほうがCVRが高かった」としても、それだけでは切り替えの根拠になりません。 コインを10回投げて表が6回出るように、まったく同じ実力でも数字には偶然の差が出るからです。 そこで統計では「AとBに本当は差がない」と仮定して、今回以上の差が偶然で出る確率(p値)を計算します。 この確率が5%より小さければ「偶然とは考えにくい=統計的に有意」と判定するのが、よく使われる判定基準です。各案で成果あり・成果なしがそれぞれ10件以上の場合に正規近似を用います。少数の場合は本ツールでは判定を保留します。適用条件と式(トロント大学講義資料)を参照しています。独立した無作為割り付けと、事前に決めた人数・期間での評価を前提にします。
同じCVRの差でも、人数によって判定は変わる(だから人数が重要)
どちらもCVRはA 2.0%・B 2.6%(+0.6ポイント)で同じ。それでも5,000人ずつ集めたテストは「偶然でこの差が出る確率4.5%」で 有意差ありと判定でき、1,000人ずつでは37%(3回に1回は偶然で起きる)で判定できません。点線が判定ライン(5%)です。 だからテストは、必要なサンプル数(人数)を先に決めてから始めます。
A/Bテスト判定のアンチパターン表
A/Bテストで最も多い失敗は、計算ミスではなく「判定のルール違反」です。 結果が信用できなくなる典型パターンを押さえてください。
| アンチパターン | 何が起きるか | 正しいやり方 |
|---|---|---|
| 有意になった瞬間に打ち切る | 偶然の山を拾う(何度も覗くほど誤判定率が上がる) | 必要サンプル数と期間を先に決め、達してから判定する |
| 期間が短すぎる | 曜日・給料日などの周期変動が混入する | 最低でも1〜2週間、曜日を一周させる |
| 同時に多数のパターンを比較 | 比較の数だけ「偶然の勝者」が出やすくなる | パターンを絞る。多数比較するなら判定基準を厳しくする |
| セグメントを後から掘る | 「20代女性では有意」のような偶然の発見を量産する | 検証したい仮説とセグメントは事前に決める |
| 負けたテストを記録しない | 同じ失敗を別の担当者が繰り返す | 勝敗にかかわらず結果と学びを台帳に残す |
判定結果の読み方
右端のボタンを押すと、その判定になる数字が①〜④に入り、信頼区間の見え方を確かめられます。
| 結果 | 意味 | 次のアクション | この結果で試す |
|---|---|---|---|
| 有意差あり(勝ち) | 偶然では説明しにくい差がある | 勝ちパターンに切り替え、改善幅を記録する | |
| 有意差あり(負け) | 変更が悪化を招いた可能性が高い | 元に戻す。仮説のどこが外れたかを言語化する | |
| 有意差なし | 「差がない」ではなく「差があるとは言えない」 | サンプル不足なら継続。十分なら差は小さいと判断して次の施策へ |
テスト開始前の必要サンプル数はA/Bテスト サンプルサイズ計算ツールで確認してください。 統計の考え方はA/Bテストとサンプルサイズの記事で、 用語の定義は用語集のファネル(CVR)で解説しています。
FAQよくある質問
有意差はどう判定していますか？
2群の比率の差のz検定(両側)です。両群を合わせたCVRから標準誤差とz値を計算し、p値が0.05未満なら95%水準で有意と判定します。各案の成果あり・成果なしが10件以上という正規近似の適用条件を満たさない場合は判定を保留します。
p値とは何ですか？
「本当は差がない」と仮定した場合に、今回以上に極端な差が観測される確率です。p=0.045なら、差がないのにこの結果が出ることは4.5%しか起こらないため、5%有意水準では「偶然とは考えにくい」と判定します。なお、p値は「差が本物である確率」そのものではない点に注意してください。
サンプルはどのくらい必要ですか？
本ツールの正規近似は、各案の成果あり・成果なしがそれぞれ10件以上ある場合に限ります。それ未満はFisherの正確確率検定など少数向けの方法で確認してください。必要人数は検出したい改善幅から事前に決め、有意になるまで追加を繰り返さないでください。
有意差判定ツールには何を入力すればよいですか？
A案とB案それぞれの「見せた人数(訪問数・配信数など)」と「成果の数(CV数)」の4つです。入力するとCVRの差をz検定で判定し、p値・有意差の有無・報告用の文を返します。登録は不要で、入力値はブラウザ内だけで計算され、サーバーには送信されません。