A/Bテスト サンプルサイズ計算ツール(必要サンプル数・母数)
「A/Bテストは何人に見せれば結果を信じられる？」を事前に計算する無料ツール。現状CVRと狙う改善幅を入れるだけで、必要なサンプル数(母数)とテストの所要日数がわかり、上司に共有できるテスト計画文も自動生成します。
- 登録・ログイン不要
- 無料
- 入力値をサーバーに送信しません
現状のCVRと狙う値を入れると、必要な人数とテスト期間が出ます。
上司に共有するテスト計画文を見る
テストが終わったらA/Bテスト有意差判定ツールで結果を判定できます。入力値は外部に送信されません。
判定の厳しさを変える通常はそのまま
差がないのに「差がある」と誤判定する確率の上限
本当に差があるとき、それを見つけられる確率
入力内容はブラウザ内だけで計算・保存され、サーバーには送信されません。「この条件で開くリンク」も入力値を#以降に載せるためサーバーへは送られませんが、URLを共有した相手は入力値を見られます。無料・登録不要で使えます。
USE CASESこんな場面で使える
- テスト設計走らせる前に「何人集めれば判定できるか」を確認し、判定不能なテストを避ける
- テスト期間の見積もり必要日数からテストのスケジュールを決め、関係者に説明する
- 目標の現実性チェック手持ちのトラフィックで検出できる改善幅の目安を逆算する
FORMULA計算式・仕組みと根拠
- n(1群あたり) = (z(α/2)·√(2·p̄·(1−p̄)) + z(β)·√(p₁(1−p₁)+p₂(1−p₂)))² ÷ (p₂−p₁)²
- p̄ = (p₁+p₂)÷2。z(α/2)は有意水準、z(β)は検出力に対応する標準正規分布の値(例: 5%→1.96、80%→0.842)
- 所要日数 = 必要サンプル合計(2群分) ÷ 1日あたりの対象者数(端数切り上げ)
- 根拠: 2群の比率の差の検定(両側)に対する標準的なサンプルサイズ設計式です。
EXAMPLE入力例と結果の読み方
現状CVR3%・改善後CVR4%(有意水準5%・検出力80%)と入力すると、必要サンプルは1パターンあたり5,301人、A/B合計で10,602人です。1日500人が対象なら所要日数は22日。「+1ポイントの改善を検出するには約3週間必要」と読み、それより早く打ち切るとたまたまの差を実力と誤認するリスクが高くなります。
PITFALLSよくある間違い
- サンプルサイズを決めずにテストを始め、良さそうに見えた時点で打ち切る(偽陽性の典型パターン)
- 検出したい改善幅を大きく見積もりすぎる(+1ポイントの半分の+0.5ポイントを検出するには約4倍のサンプルが必要)
- 相対の改善率(+10%改善)と絶対の改善幅(+1ポイント)を混同する(このツールの+10%/+20%/+50%ボタンは相対の改善率で、CVR3%なら3.3%/3.6%/4.5%になる)
NOTES境界条件・注意点
- 両側検定・2群への均等割り付けを前提としています
- CVRが0%または100%に極端に近い場合、正規近似の精度が下がります
- 計算上の日数が短くても、曜日変動をならすため最低1〜2週間は回すのが実務の定石です
A/Bテストのサンプルサイズとは?計算の考え方
A/Bテストのサンプルサイズとは、AとBの差を「偶然のブレ」と区別して判定するために、 1案あたりに集める必要がある人数(表示回数)のことです。実務では「テストの母数」「必要サンプル数」とも呼ばれます。 計算に必要な入力は現状のCVR・検出したい改善幅・有意水準(通常5%)・検出力(通常80%)の4つだけで、 2つの比率の差の検定に基づく標準的な計算式から求まります。上のツールはこの式で計算しています。
重要なのは、サンプルサイズはテストを始める前に計算するものだという点です。 走らせてから「差が出ないので延長する」「差が出た瞬間に打ち切る」を繰り返すと、 偶然の差を実力と誤認する確率が跳ね上がります。先に必要人数と日数を決め、集まるまで判定しない—— これがA/Bテストの大原則です。計算式の中身と「なぜ4つの入力で決まるのか」は 解説記事のA/Bテストに必要なサンプル数の考え方で詳しく説明しています。
なぜ人数(サンプル数)が必要なのか
人数が少ないと、CVRは実力と関係なく大きくブレます。真のCVRが3%のページでも、100人しか見ていなければ 「たまたま0人」「たまたま6人」は普通に起こります。このブレ幅が狙う改善幅より小さくなるまで人数を集めるのが、 サンプルサイズ計算の意味です。
人数が増えるほどCVRのブレ幅は縮む(真のCVR3%のときの95%の振れ幅)
「CVR3%→4%(+1ポイント)の改善を検出したい」なら、ブレ幅±3.3ptの100人では話になりません。 上のツールの例(3%→4%)で必要と出る1案あたり5,301人まで集めると、ブレ幅が±0.5ptまで縮み、 +1ポイントの差を偶然と区別できるようになります。
必要サンプル数(母数)の早見表
A/Bテストの母数(1案あたりに必要なサンプル数)は、現状のCVRと、検出したい改善率の2つでほぼ決まります。 下の表は有意水準5%(両側)・検出力80%で、上のツールと同じ式で計算した1案あたりの人数です。A案とB案の両方に必要なので、合計はこの2倍です。 たとえばCVR3%を+20%(3.6%)に上げたことを確かめるなら1案13,914人、合計27,828人が要ります。 右端のボタンを押すと、その行の「+20%の改善」を狙う条件で計算し直します。
| 現状のCVR | +10%の改善を検出 | +20%の改善を検出 | +30%の改善を検出 | +50%の改善を検出 | +20%の条件で試す |
|---|---|---|---|---|---|
| 0.5% | 327,922人 (0.5%→0.55%) | 85,862人 (0.5%→0.6%) | 39,885人 (0.5%→0.65%) | 15,599人 (0.5%→0.75%) | |
| 1% | 163,095人 (1%→1.1%) | 42,693人 (1%→1.2%) | 19,827人 (1%→1.3%) | 7,750人 (1%→1.5%) | |
| 2% | 80,682人 (2%→2.2%) | 21,109人 (2%→2.4%) | 9,798人 (2%→2.6%) | 3,826人 (2%→3%) | |
| 3% | 53,211人 (3%→3.3%) | 13,914人 (3%→3.6%) | 6,455人 (3%→3.9%) | 2,518人 (3%→4.5%) | |
| 5% | 31,234人 (5%→5.5%) | 8,158人 (5%→6%) | 3,780人 (5%→6.5%) | 1,471人 (5%→7.5%) | |
| 10% | 14,751人 (10%→11%) | 3,841人 (10%→12%) | 1,774人 (10%→13%) | 686人 (10%→15%) | |
| 20% | 6,510人 (20%→22%) | 1,683人 (20%→24%) | 772人 (20%→26%) | 294人 (20%→30%) |
「+10%の改善」は相対値です(CVR3%→3.3%)。トラフィックが少ないサイトでは小さな差の検証は現実的でないため、 ボタン文言の微修正より、価格表示や訴求軸の変更など大きな差が出うる施策からテストするのが定石です。 自分の条件の正確な値は上のツールで計算できます。
有意水準・検出力の意味
| 設定 | 意味 | よく使う値 |
|---|---|---|
| 有意水準(α) | 本当は差がないのに「差がある」と誤判定してしまう確率の上限 | 5% |
| 検出力(1−β) | 本当に差があるときに、それを検出できる確率 | 80%(厳密にやるなら90%) |
| 片側/両側 | 改善と悪化の両方向を検定するのが両側。通常は両側を使う | 両側 |
テスト結果が出たあとの有意差判定はA/Bテスト有意差判定ツールで、 判定の考え方はA/Bテストとサンプルサイズの記事で、 段階ごとのCVRはファネル分析ツールで計算できます。
FAQよくある質問
必要サンプルサイズはどうやって計算していますか？
2群の比率の差の検定(両側)の標準式で計算しています。現状CVRと改善後CVRの差が小さいほど、また検出力・信頼水準を高くするほど必要サンプルは増えます。例えばCVR3%→4%の検出には1群5,301人が必要です。
検出力80%とはどういう意味ですか？
本当に差があるときに、その差を「統計的に有意」と検出できる確率が80%という意味です。Webのテストでは検出力80%・有意水準5%が標準的な設定で、見逃しをより減らしたい場合は検出力90%を選びます。
サンプルが集まらない場合はどうすればいいですか？
検出する改善幅を大きくする(ボタン色ではなく訴求全体など大胆な変更をテストする)、テスト期間を延ばす、テスト対象ページを広げる、の3つが現実的です。小さな改善幅を少ないサンプルで統計的に判定することはできません。
A/Bテストは何人いれば信頼できますか？
一律の人数はなく、現状CVRと検出したい改善幅で決まります。目安として現状CVR3%を4%に上げる(相対33%改善)なら1群5,301人・計10,602人、3%を3.3%に上げる(相対10%改善)なら1群は約5万人規模になります。改善幅が小さいほど必要人数は急激に増えるため、「何人必要か」は必ずテスト開始前に計算してください。
サンプルサイズを計算せずにA/Bテストを始めるとどうなりますか？
差が出ていないのに「勝った」と誤判定するか、本当は効果があるのに「差がない」と見逃します。特に危険なのは、テスト中に毎日結果を覗いて有意になった時点で止める運用(peeking)で、これは偽陽性を大幅に増やします。必要サンプル数と終了日を先に決め、そこまでは判定しないのが原則です。
有意水準5%とはどういう意味ですか？
本当は差がないのに「差がある」と誤判定してしまう確率を5%に抑える、という設定です。信頼水準95%と同じことを指します。Webのテストでは有意水準5%・検出力80%が標準で、より慎重に判定したい場合は有意水準1%(信頼水準99%)を選びます。
A/Bテストは何日間くらい回せばいいですか？
必要サンプル数を1日あたりの対象人数で割った日数が下限ですが、最低でも1〜2週間は回してください。曜日によってCVRは大きく変わるため、週の途中で止めると平日・休日の偏りがそのまま結果に乗ります。本ツールは1日あたりの流入数を入れると必要日数を自動計算します。
A/Bテストのサンプル数はA案とB案でそれぞれ必要ですか？
はい。計算結果は「1群あたり」の人数なので、A案・B案の両方にその人数が必要です。総数は2倍になります。3パターン以上を同時にテストする場合はさらに群の数だけ必要になり、加えて比較回数が増えることで偽陽性も増えるため、まずは2案での比較を推奨します。
ABテストのサンプルサイズ計算には何を決めればいいですか？
ベースラインCVR(現状のCVR)、最小検出効果(MDE=見つけたい最小の改善幅)、有意水準(通常5%)、検出力(通常80%)の4つです。これを2群の比率の差の検定の式に入れると、1群あたりの必要人数が出ます。CVR3%を4%に上げるテストなら1群5,301人、3%を3.6%(相対+20%)に上げるなら1群13,914人です。MDEは「+1ポイント」の絶対値か「+20%」の相対値かで人数が大きく変わるので、どちらで決めたかを揃えてください。
A/Bテストの「母数」とは何ですか？
テストで各案を見せる人数(訪問数・表示回数・配信数)のことで、統計の言葉ではサンプル数・サンプルサイズと呼びます。必要な母数は現状のCVRと検出したい改善率で決まり、CVR3%を+20%(3.6%)に上げたことを確かめるなら1案13,914人、A案とB案の合計で27,828人です。なお統計学の用語としての「母数」は母集団の比率や平均などの値を指し、テストの人数とは別の意味です。