A/Bテスト有意差判定ツール
A/Bパターンのアクセス数とCV数を入力すると、CVRの差が統計的に有意か(z検定・p値)を判定する無料ツール。A/Bテスト結果の判断に使えます。
使い方
- AパターンとBパターンそれぞれの訪問数とCV数を入力する
- z値・p値と有意差の判定を確認する
- 有意でない場合はサンプル数を増やして再判定する
目安: 各パターンのCVが30件以上たまってから判定を。テスト途中で何度も判定して打ち切るのは誤判定のもとです。
🔒 入力内容はブラウザ内だけで計算・保存され、サーバーには送信されません。「条件のURL」も入力値を#以降に載せるためサーバーへは送られませんが、URLを共有した相手は入力値を見られます。無料・登録不要で使えます。
こんな場面で使える
- LP・広告のA/Bテスト判定「良さそう」を統計的に確認する
- テスト終了の判断有意になるまで回すか打ち切るかを決める
- 上司・クライアントへの報告「95%水準で有意」と根拠つきで説明する
計算式・仕組みと根拠
- z = (CVR_B − CVR_A) ÷ 標準誤差(標準誤差 = √( p̄(1−p̄) × (1/n_A + 1/n_B) )、p̄は両群合算のCVR)
- p値 = 「本当は差がない」と仮定したとき、今回以上に極端な差が観測される確率(両側検定)。p < 0.05 で95%水準の有意と判定
- 根拠: 2群の比率の差に対するz検定は、A/Bテストの判定で最も広く使われる標準的な統計手法です。
入力例と結果の読み方
Aが5,000訪問で100CV(CVR2.0%)、Bが5,000訪問で130CV(CVR2.6%)なら、z値は約2.00・p値は約0.045。「差がない」と仮定した場合にこれ以上の差が出る確率が4.5%と小さいため、95%水準で統計的に有意と判定されます。逆にp値が0.2なら、+30%の差があるように見えてもまだ偶然で説明できる範囲、と読みます。統計的に有意でも、改善幅が実務的に意味のある大きさかは別途判断してください。
よくある間違い
- テスト途中で何度も結果を見て、有意になった瞬間に打ち切る(偽陽性が急増する「ピーキング」)
- 「有意差なし」を「効果なし」と結論する(サンプル不足で検出できていないだけの可能性)
- 3パターン以上を同時に比較し、それぞれをp<0.05で判定する(多重検定で誤判定率が上がる)
境界条件・注意点
- 両側検定・有意水準5%が基準です(p<0.10は「傾向あり」として参考表示)
- CVR(比率)専用です。客単価・滞在時間など平均値の比較にはt検定など別の手法が必要です
- 目安として各パターンのCVが30件以上たまってから判定してください。CV数が訪問数を超える入力はエラーになります
よくある質問
有意差はどう判定していますか？
2群の比率の差のz検定(両側)です。両群を合わせたCVRから標準誤差とz値を計算し、p値が0.05未満なら95%水準で有意と判定します。
p値とは何ですか？
「本当は差がない」と仮定した場合に、今回以上に極端な差が観測される確率です。p=0.045なら、差がないのにこの結果が出ることは4.5%しか起こらないため、5%有意水準では「偶然とは考えにくい」と判定します。なお、p値は「差が本物である確率」そのものではない点に注意してください。
サンプルはどのくらい必要ですか？
目安として各パターンでCVが30件以上たまってから判定してください。CVRの差が小さいほど、有意差の検出に必要なサンプルは増えます。
🔖 このツールをよく使う方は、ブックマーク(⌘D / Ctrl+D)しておくと次回すぐ開けます。