A/Bテストとは?やり方6ステップと有意差・サンプルサイズの考え方を初心者向けに解説

ヒートマップエックス エンジニアチーム53分で読了
  • ab-testing
  • cro
  • how-to
  • beginners

この記事のまとめ

  • A/Bテストとは、訪問者を無作為(ランダム)に分けて元のページ(A)と変更したページ(B)を同じ期間に見せ、どちらの成果が高いかを数字で比べる方法
  • 変更の前後を比べるだけでは、季節・広告・曜日などの影響と変更の効果を分けられない。同時に配信して比べるのがA/Bテストの核心
  • やり方は「目的と指標 → 仮説 → 案の作成 → 配信 → 判定 → 反映」の6ステップ。必要なサンプルサイズ(データの量)と期間は始める前に決める
  • 「統計的有意差」は、その差が偶然のばらつきだけでは説明しにくいことを示す目安。p値は「Bが勝っている確率」ではない
  • 失敗の多くは「途中で何度も結果を見て止める」「同時に多くを変える」「期間が短い」から起きる
  • アクセスが少ないサイトでは、大きな変更に絞る・手前の指標で見るなど、やり方を変えれば判断材料を増やせる

「見出しを変えたら申し込みが増えるかもしれない」「ボタンはもっと上にあったほうがいいのでは」。サイトを運営していると、こうした改善の思いつきは次々に出てきます。けれども、実際に変えてみて良くなるのか、それとも悪くなるのかは、やってみないと分かりません。変えたあとに数字が上がったとしても、それが変更のおかげなのか、たまたまその週に広告を増やしたからなのか、見分けがつかないこともよくあります。

こうした「変更の効果を、ほかの要因と切り分けて確かめたい」という場面で使うのが A/Bテスト です。

この記事では、A/Bテストの意味と仕組みから、具体的なやり方、仮説の立て方、どれくらいのデータと期間が必要か、「有意差」とは何を意味するのか、そして初心者が陥りやすい失敗までを順に説明します。統計の話も出てきますが、数式は最小限にとどめ、考え方が分かることを優先しています。記事内の計算例はすべて、説明のために置いた仮の数字です。

A/Bテストとは?

A/Bテストとは、ページの2つのパターンを訪問者に無作為(ランダム)に出し分け、どちらがより良い成果を出すかを同じ期間のデータで比べる方法です。「スプリットテスト」と呼ばれることもあります。

  • A(コントロール/元のパターン):今のページ。比較の基準になります
  • B(バリアント/変更したパターン):一部を変えたページ。試したい案です

たとえば、訪問者の半分にはAを、残りの半分にはBを見せ、それぞれの「申し込みに至った人の割合」を比べます。この割合を コンバージョン率(CVR) と呼びます。コンバージョンとは、購入・申し込み・資料請求など、サイトが訪問者に取ってほしい行動のことです。

A/Bテストの名前は2つのパターンを比べることに由来しますが、3つ以上のパターンを同時に比べることもあります(A/B/nテストと呼ばれます)。考え方は同じです。

仕組み:無作為に分けて、同時に比べる

A/Bテストを成り立たせているのは、次の3つの仕組みです。

A/Bテストの仕組み:訪問者を無作為にAとBへ振り分け、同じ期間に配信してコンバージョン率を比べる(数値は例)

1. 無作為に振り分ける。 訪問者がAとBのどちらを見るかは、ツールが乱数で決めます。人が選んだり、「午前はA・午後はB」のように規則で分けたりはしません。無作為に分けることで、新規の人とリピーター、スマートフォンとパソコン、広告から来た人と検索から来た人といった訪問者の違いが、AとBの両方にほぼ均等に混ざります。

2. 同じ期間に配信する。 AとBは同時に配信されます。そのため、セールや季節、テレビでの紹介、曜日による変動といった外からの影響は、AにもBにも同じようにかかります。

3. 同じ人には同じパターンを見せ続ける。 一度Bに振り分けられた人が、次に来たときAを見ると、どちらの影響で申し込んだのか分からなくなります。そのため多くのツールは、ブラウザに保存する目印(Cookieなど)を使って、同じ訪問者には同じパターンを出し続けます。

この3つがそろうと、AとBの間にある違いは「ページの変更点」だけになります。だから、成果に差が出たとき、その差は変更によるものだと考えやすくなるわけです。医薬品の効果を確かめる試験(ランダム化比較試験)と同じ考え方を、Webサイトに当てはめたものだと言えます。

なぜA/Bテストが必要なのか:前後比較では分からないこと

「わざわざ出し分けなくても、ページを変えて、変える前と後の数字を比べればよいのでは」と思うかもしれません。これは前後比較と呼ばれるやり方で、手軽ですが、大きな弱点があります。変更の効果と、それ以外の要因を分けられないのです。

サイトの数字は、ページを何も変えなくても日々動いています。動かす要因には、たとえば次のようなものがあります。

  • 季節や行事:ボーナス時期、年度末、連休、天候など
  • 広告やキャンペーン:出稿量の増減、配信先の変更、メールマガジンの配信
  • 曜日や時間帯:平日と休日で訪問者の層や目的が変わる
  • 流入元の変化:検索順位の変動、SNSでの拡散、他サイトからの紹介
  • 競合や市場の動き:他社の値下げ、ニュースでの話題化

前後比較では、変更後の期間にこれらのどれかが重なると、数字の変化が「変更の効果」なのか「ほかの要因」なのかを見分けられません。変更後に数字が上がっていても、実は変更そのものは逆効果で、広告の増加がそれを隠していた、ということも起こりえます。

A/Bテストは、AとBを同じ期間に配信するので、こうした要因が両方に同じようにかかります。そのうえで残った差を見るため、変更の効果だけを取り出しやすくなります。

前後比較では広告などの影響と変更の効果が混ざるが、A/Bテストでは同じ期間に比べるため差だけが残ることを示すイメージ図

もう1つの理由は、作り手の感覚と訪問者の反応がしばしば食い違うことです。社内で「こちらのほうが分かりやすい」と意見がまとまった案が、実際の訪問者には響かないことは珍しくありません。A/Bテストは、意見の強さや役職ではなく、訪問者の実際の行動で決めるための手段でもあります。

A/Bテストで分かること・分からないこと

A/Bテストは強力ですが、何でも分かるわけではありません。始める前に、得意なことと苦手なことを押さえておくと、結果の受け止め方を誤りにくくなります。

分かること

  • ある変更が、決めた指標(申し込み率など)を上げたか・下げたか・ほとんど変えなかったか
  • その差が、偶然のばらつきだけでは説明しにくい大きさかどうか

分からないこと・苦手なこと

  • なぜ差が出たのか:理由は推測になります。別のデータと合わせて考えます
  • 長期の影響:テスト期間中の行動しか見ていません。数か月後の継続率や解約率までは分からないことが多いです
  • 試していない案との比較:AとBのうち良いほうは分かりますが、もっと良いCがあるかどうかは分かりません
  • アクセスが少ないページでの小さな改善:データが足りず、差があってもなくても判断がつかないことがあります(後の節で対処を説明します)

また、A/Bテストは「良い案を生み出す道具」ではなく「案を確かめる道具」です。試す案そのものの質は、仮説づくりで決まります。

A/Bテストの種類:多変量テスト・リダイレクトテストとの違い

「A/Bテスト」と一口に言っても、近い手法がいくつかあります。よく名前が挙がるものを整理します。

種類 何を比べるか 向いている場面 注意点
A/Bテスト 同じURLの中で、一部を変えたパターン同士 見出し・ボタン・画像など、1つの変更の効果を確かめたい 基本形。まずはここから
A/B/nテスト 3つ以上のパターン 見出しの候補が複数あり、一度に比べたい パターンが増えるほど、1つあたりのデータが減り期間が延びる
多変量テスト 複数の要素の組み合わせ(例:見出し2種 × 画像2種の4通り) どの要素の組み合わせが良いかまで知りたい 組み合わせの数だけデータが必要。アクセスの多いページ向け
リダイレクトテスト(スプリットURLテスト) 別々のURLに用意した、作りの違うページ同士 レイアウトを大きく変えた新しいページと現行ページを比べたい 転送が入るため表示がわずかに遅れることがある。検索エンジンへの配慮が必要
A/Aテスト まったく同じパターン同士 ツールの振り分けや計測が正しく動いているかを確かめたい 改善のためではなく、点検のためのテスト

多変量テストは、複数の要素を同時に変え、その組み合わせごとに成果を比べる方法です。「見出しはこちら、画像はこちらの組み合わせが最も良い」といった、要素どうしの相性まで調べられます。ただし、見出し3種・画像3種・ボタン2種なら18通りになり、それぞれに十分なデータが必要です。アクセスが限られるサイトでは、A/Bテストを順番に行うほうが現実的です。

リダイレクトテストは、訪問者の一部を別のURLへ転送して比べる方法で、スプリットURLテストとも呼ばれます。ページの構成そのものを作り直すような大きな変更に向いています。一方で、同じURLの中で要素を書き換える通常のA/Bテストは、文言や色などの小さな変更を手早く試すのに向いています。

なお、Web以外でも、メールの件名や広告のクリエイティブを2種類配信して反応を比べることをA/Bテストと呼びます。本記事ではWebページのA/Bテストを扱います。

A/Bテストで何をテストするか

テストできる要素は多岐にわたります。代表的なものを挙げます。

  • 見出し(キャッチコピー):機能の説明から、得られる結果の説明に変える。ねらいは、最初の数秒で「自分に関係がある」と伝えること
  • CTA(行動を促すボタン):文言・位置・大きさ・色を変える。ねらいは、次に取る行動を分かりやすくすること
  • メイン画像・動画:商品単体の写真と、使っている場面の写真を比べる。ねらいは、価値を直感的に伝えること
  • フォーム:入力項目の数を減らす、段階に分ける、入力例を添える。ねらいは、入力の手間と迷いを減らすこと
  • 料金の見せ方:月額と年額の並べ方、プランの並び順、税込み表示の位置。ねらいは、比較と判断をしやすくすること
  • 信頼を補う情報:導入実績、利用者の声、保証やサポートの案内の位置。ねらいは、申し込み前の不安を減らすこと
  • レイアウト・情報の順序:重要な情報を上に移す、長いページを短くする。ねらいは、必要な情報に早くたどり着けるようにすること
  • ナビゲーション:メニューの項目数や文言を変える。ねらいは、迷いを減らし、目的のページへ導くこと

CTAは「Call To Action」の略で、「申し込む」「資料を請求する」といった、訪問者に行動を促すボタンやリンクを指します。

どの要素から試すかは、成果への近さと見られている量で考えるのが基本です。申し込みボタンやフォームのように成果に直結する場所、そして多くの訪問者が目にするページ上部は、変更の影響が出やすい場所です。反対に、ほとんどの人が到達しないページ下部の小さな変更は、効果があったとしても検出に長い期間がかかります。

「ボタンの色」はA/Bテストの例としてよく挙げられますが、色だけの変更で大きな差が出るとは限りません。色そのものよりも、「ボタンが周囲に埋もれて気づかれていない」という課題があるかどうかのほうが重要です。何を変えるかは、次に説明する仮説から逆算して決めます。

A/Bテストのやり方【6ステップ】

A/Bテストは、次の6つの手順で進めます。大事なのは、配信を始める前に、指標・必要なデータ量・期間・判定の基準を決めておくことです。

目的と指標を決める

何を良くしたいのかを1つに絞り、それを測る指標を決めます。「資料請求の完了率を上げる」のように、数字で測れる形にします。判定に使う指標(主指標)は1つにします。

仮説を立てる

「どこに課題があり、何をどう変えれば、なぜ良くなると考えるのか」を文章にします。アクセス解析やヒートマップなどのデータを根拠にすると、当てずっぽうを減らせます。

テストする案を作る

仮説に沿って、変更したパターン(B)を作ります。何が効いたかを判断できるよう、変更点は仮説1つ分に絞ります。スマートフォンとパソコンの両方で表示を確かめます。

必要なデータ量と期間を決めて配信する

必要なサンプルサイズとテスト期間を見積もり、配信の割合を決めてから開始します。開始直後に、振り分けと計測が正しく動いているかを確認します。

期間が終わってから判定する

あらかじめ決めた期間とデータ量に達してから結果を見ます。主指標の差と、その差が偶然のばらつきで説明できる範囲かどうかを確かめます。

反映して、次の仮説へ進む

良かった案は正式に反映し、テスト用の設定は片づけます。差が出なかった場合も、学んだことを記録して次の仮説に生かします。

以降の節で、それぞれの手順の考え方を詳しく説明します。

目的と指標の決め方

指標は、役割ごとに分けて考えると整理しやすくなります。

  • 主指標:テストの勝ち負けを決める指標です。1つだけ選びます。例として、購入完了率、資料請求の完了率、無料登録率などがあります
  • 補助指標:主指標の動きを理解するために見る指標です。ボタンのクリック率、フォームの入力開始率、スクロールの到達率などが当たります
  • ガードレール指標:悪化していないかを見張る指標です。直帰率、ページの表示速度、返品や解約、問い合わせ件数などが当たります

主指標を1つに絞る理由は、指標をたくさん並べて「どれか1つでも良くなっていれば成功」としてしまうと、偶然良く見えただけの指標を拾いやすくなるからです。これは後の節で触れる「多重比較」の問題です。

主指標は、できるだけ事業の成果に近いものを選びます。ボタンのクリック率は上がったのに、申し込みは増えていない、ということは起こりえます。クリックを誘う文言に変えれば押す人は増えますが、その先で期待と違えば離れてしまうからです。

一方で、購入や契約のように件数が少ない指標は、データが集まるまでに時間がかかります。アクセスが限られるサイトでは、成果の手前にある指標(フォームへの到達など)を主指標に置く選択肢もあります。この場合は「手前の指標が良くなっても、最終の成果が良くなるとは限らない」という前提を忘れないことが大切です。

仮説の立て方:行動データから「変える理由」を作る

A/Bテストの成否は、仮説の質に大きく左右されます。仮説なしに思いつきを試し続けると、差が出ないテストが続き、出たとしても次に生かせません。

仮説は、次の型で書くと抜け漏れが減ります。

「(データで見えた事実) から、(課題の推測) だと考える。そこで (変更内容) をすれば、(指標) が良くなるはずだ。」

例として、仮に次のような状況があったとします。

  • 事実:料金ページで、申し込みボタンのある位置まで到達している訪問者が少ない
  • 課題の推測:ボタンが下にありすぎて、申し込む気のある人にも見つけてもらえていない
  • 変更内容:プラン表のすぐ下にも申し込みボタンを置く
  • 指標:申し込み完了率

この形で書いておくと、結果が出たあとに「推測が外れていたのか、変更のしかたが足りなかったのか」を振り返れます。

仮説の材料になるデータには、次のようなものがあります。

  • アクセス解析:どのページで離脱が多いか、どの流入元の成果が低いか。課題のある「ページ」を見つけるのに向いています
  • ヒートマップ:ページのどこまで読まれているか、どこがクリックされているか、リンクではない場所が押されていないか。課題のある「場所」を見つけるのに向いています
  • 問い合わせ・営業やサポートの記録:訪問者が何に迷い、何を不安に感じているか
  • アンケートや利用者への聞き取り:数字に表れない理由を知る手がかり

ヒートマップは、訪問者の行動をページ上に色の濃淡で重ねて表示する道具です(種類や見方はヒートマップとはで解説しています)。「重要なボタンが押されていない」「多くの人が途中で読むのをやめている」といった、ページの中の問題箇所を見つけるのに役立ちます。ヒートマップで問題を見つけ、A/Bテストで直し方を確かめるという役割分担については、ヒートマップとA/Bテストの違いと使い分けで詳しく説明しています。

仮説が複数あるときは、「影響の大きさの見込み」「根拠の確かさ」「実施の手間」の3点で並べ、見込みが大きく手間の小さいものから着手すると進めやすくなります。

必要なサンプルサイズの考え方

サンプルサイズとは、テストに必要なデータの量、つまり各パターンを見た訪問者の数のことです。A/Bテストでは、これを配信の前に見積もります。データが少なすぎると、本当は差があっても見つけられないことが増え、たまたま有意な差が出た場合も、その差の大きさは実際より大きく見えやすくなるからです。

必要なサンプルサイズは、主に次の4つで決まります。

  1. 現在のコンバージョン率:低いほど、多くのデータが必要になります
  2. 見つけたい差の大きさ:小さな差を見つけたいほど、多くのデータが必要になります。「この差より小さければ見つけられなくてもよい」という最小の差を、最小検出可能効果と呼びます
  3. 有意水準:差が無いのに「差がある」と判断してしまう誤りを、どこまで許すか。5%がよく使われます
  4. 検出力:本当に差があるとき、それを見つけられる確率。80%がよく使われます

このうち、とくに影響が大きいのが2番目です。必要なデータ量は、見つけたい差が半分になるとおよそ4倍に増えます。

目安をつかむための計算例を示します。現在のコンバージョン率を2.0%と仮定した場合の、1パターンあたりに必要な訪問者数の概算です(2つの割合の差を比べる一般的な計算式を使い、両側検定・有意水準5%・検出力80%で計算した例です)。

見つけたい改善(相対) 変更後のコンバージョン率 1パターンあたりの必要数(概算)
+10% 2.0% → 2.2% 約80,700人
+20% 2.0% → 2.4% 約21,100人
+30% 2.0% → 2.6% 約9,800人
+50% 2.0% → 3.0% 約3,800人

見つけたい改善の大きさ別の必要サンプルサイズ:+10%は約80,700人、+20%は約21,100人、+30%は約9,800人、+50%は約3,800人

この表から分かることは2つあります。1つは、小さな改善を確かめるには想像以上のデータが必要だということです。コンバージョン率2.0%のページで1割の改善を確かめるには、AとBを合わせて16万人以上の訪問者が要る計算になります。もう1つは、大きな改善を狙う変更ほど、少ないデータで判断できるということです。

実際に見積もるときは、A/Bテストツールに付いている計算機能や、公開されているサンプルサイズ計算ツールを使えば、4つの値を入れるだけで求められます。計算式を覚える必要はありません。大切なのは、「どれくらいの差を見つけたいのか」を先に決め、自分のサイトのアクセスでそれが現実的な期間に収まるのかを確かめておくことです。

見積もった必要数が大きすぎるときは、「テストをあきらめる」以外に、より大きな差が見込める変更に絞る、アクセスの多いページで行う、成果の手前の指標で見るという選択肢があります。具体的な進め方は「アクセスが少ないサイトではどうするか」の節で説明します。

テスト期間の決め方

テスト期間は、必要なサンプルサイズを、テスト対象のページに1日あたり何人が訪れるかで割って見積もります。

計算例を示します。先ほどの表で「1パターンあたり約21,100人」が必要だとします。対象ページの訪問者が1日1,000人で、全員をテストの対象にしてAとBに半分ずつ振り分けると仮定すると、1パターンあたり1日500人です。21,100 ÷ 500 でおよそ42日、つまり約6週間かかる計算になります。

期間を決めるときは、データ量に加えて次の点も考えます。

1週間単位で区切る。 訪問者の行動は曜日によって変わります。平日は仕事中の情報収集、休日は個人の買い物、というように、訪問者の層や目的が違うことがあるからです。月曜から木曜までの4日間だけで終えると、週末の訪問者の反応が入りません。開始と終了の曜日をそろえ、7日の倍数で区切ると、曜日の偏りを避けられます。

短すぎる期間を避ける。 アクセスが非常に多く、数日で必要数に達するサイトでも、少なくとも1週間、できれば2週間は配信するのが一般的な目安です。曜日の偏りに加え、変更直後だけ目新しさで反応が良くなる(あるいは慣れた人が戸惑って悪くなる)ことがあるためです。

長すぎる期間も避ける。 期間が長くなると、Cookieが消えて同じ人が別のパターンを見る、季節や市場の状況が変わる、といった乱れが増えます。見積もりが2か月を大きく超えるようなら、テストの設計(見つけたい差の大きさ、対象ページ、指標)を見直すことをおすすめします。

特殊な時期を外す。 大型セールや年末年始など、訪問者のふるまいがふだんと大きく違う時期の結果は、通常の時期に当てはまらないことがあります。その時期の施策を確かめたい場合を除いて、避けるのが無難です。

統計的有意差とは?p値と信頼水準をやさしく解説

テストが終わると、たとえば「Aは2.0%、Bは2.4%」のような結果が出ます。ここで考えなければならないのは、この差は本物なのか、たまたまなのかです。

まったく同じページを2つのグループに見せても、コンバージョン率がぴったり一致することはまずありません。コインを100回投げたとき、表がちょうど50回になるとは限らないのと同じで、数字には偶然のばらつきがあります。そこで、「観測した差が、偶然のばらつきだけで説明できる範囲かどうか」を確かめる手続きが必要になります。これが統計的仮説検定で、その結論を表す言葉が 統計的有意差 です。

p値とは

検定では、まず「AとBには本当は差が無い」と仮定します。そのうえで、差が無いと仮定したとき、観測した差と同じかそれ以上に大きな差が偶然出る確率を計算します。この確率が p値 です。

  • p値が小さい → 「差が無い」という仮定のもとでは、今回のような差はめったに出ない → 差が無いという仮定のほうが疑わしい
  • p値が大きい → 今回程度の差は、差が無くても偶然でよく出る → 差があるとは言い切れない

有意水準と信頼水準

p値がどれくらい小さければ「差がある」と判断するか、その基準を 有意水準 と呼びます。慣習として5%(0.05)がよく使われます。p値が有意水準を下回ったとき、「統計的に有意な差がある」と言います。

A/Bテストツールの画面では「信頼水準95%」「信頼度95%」といった表示をよく見かけます。これは多くの場合、有意水準5%で判定していることを指しています(表示の意味はツールによって異なるため、使うツールの説明を確認してください)。

有意水準5%とは、「本当は差が無いのに、差があると判断してしまう誤りを、5%までは受け入れる」という取り決めです。言い換えると、まったく効果の無い変更を20回テストすれば、平均して1回は「有意差あり」と出てしまいます。有意差は確実さの証明ではなく、誤りの確率を一定以下に抑えるための目安です。

p値についてのよくある誤解

ほかにも、次のような誤解がよくあります。

  • 「有意差なし」は「差が無い」という意味ではない:データが足りず、差があるともないとも言えない状態を含みます
  • 有意差があっても、その差が事業にとって意味のある大きさとは限らない:データが非常に多ければ、ごくわずかな差でも有意になります。差の大きさそのものを合わせて見ます
  • p値が小さいほど効果が大きいわけではない:p値はデータの量にも左右されます

計算例で確かめる

仮の数字で確かめてみます。AとBにそれぞれ10,000人を振り分けたとします。

  • 例1:Aは200件(2.0%)、Bは240件(2.4%)。p値はおよそ0.054で、有意水準5%をわずかに上回ります。相対で2割の差が見えていても、このデータ量では「有意差あり」とは言えません
  • 例2:Aは200件(2.0%)、Bは250件(2.5%)。p値はおよそ0.017で、有意水準5%を下回ります

同じ割合でも、データが少なければ結論は変わります。AとBがそれぞれ1,000人で、Aが20件(2.0%)、Bが24件(2.4%)だった場合、p値はおよそ0.54です。差が無くても、この程度の差は2回に1回以上の頻度で偶然現れる、ということになります。

(いずれも2つの割合の差の検定を両側で計算した例です。実際の判定は、使っているツールの方式に従ってください。)

信頼区間も合わせて見る

p値は「有意かどうか」の二択になりがちですが、信頼区間を見ると、差の大きさの見当がつきます。信頼区間とは、「本当の差はおおよそこの範囲にあると考えられる」という幅のことです。

先ほどの例1では、コンバージョン率の差(BからAを引いた値)は0.4ポイントで、95%信頼区間を計算するとおよそマイナス0.01ポイントからプラス0.81ポイントになります。区間がわずかにゼロをまたいでいるので、「Bのほうが良さそうだが、差が無い可能性も捨てきれない」と読めます。区間の幅が広いときは、まだデータが足りていない合図です。

3つの計算例のコンバージョン率の差と95%信頼区間。区間がゼロをまたぐ例は有意差ありと言えない

「Bが上回る確率」を表示するツールもある

ツールによっては、p値ではなく「BがAを上回る確率」のような数値を表示するものがあります。これはベイズ統計と呼ばれる別の考え方にもとづく値で、p値とは計算の前提も意味も異なります。どちらが正しいということではなく、流儀の違いです。大切なのは、自分が見ている数値がどちらの方式なのかを確かめ、同じ数値として混同しないことです。

結果の読み方と、テスト後にすること

期間が終わったら、次の順に結果を確かめます。

  1. 配信が設計どおりだったか:半分ずつに設定したのに、AとBの訪問者数が大きく偏っていないか。偏りが大きい場合は、振り分けや計測に不具合があるおそれがあり、結果をそのまま信じるのは危険です
  2. 主指標の差と有意性:差の向き、差の大きさ、p値や信頼区間
  3. ガードレール指標:主指標が良くなる一方で、ほかの重要な数字が悪化していないか
  4. 補助指標:なぜその結果になったのかを考える手がかり

結果は、大きく3通りに分かれます。

Bが有意に良かった場合。 Bを正式に反映します。反映後もしばらく数字を見守り、テスト中と同じ傾向が続いているかを確かめます。

Bが有意に悪かった場合。 Aのままにします。これは失敗ではなく、悪い変更を全員に出す前に止められたという成果です。なぜ悪かったのかを考えると、次の仮説の精度が上がります。

有意な差が出なかった場合。 A/Bテストでは、これが最も多い結果の1つです。このとき、決めた期間を過ぎてから「有意になるまで延ばす」のは避けます(理由は次の節で説明します)。差が出なかったときは、仮説が外れていたのか、変更が小さすぎたのか、データが足りなかったのかを切り分けます。どちらを採用しても成果が変わらないなら、運用しやすいほうや、ブランドの方針に合うほうを選べば問題ありません。

デバイス別や流入元別などに分けて結果を見ること(セグメント分析)も有用ですが、注意が必要です。細かく分けるほど各グループのデータは少なくなり、偶然の差を拾いやすくなります。分けて見つけた傾向は「結論」ではなく「次に確かめる仮説」として扱うのが安全です。

最後に、テストの内容を記録に残します。仮説、変更点、期間、データ量、結果、考察を1か所にまとめておくと、同じテストの繰り返しを防げ、担当者が替わっても学びが引き継がれます。

A/Bテストのよくある失敗と対策

A/Bテストは仕組みが単純なぶん、進め方を誤ると、もっともらしい数字とともに間違った結論が出てしまいます。代表的な失敗を整理します。

よくある失敗 何が問題か 対策
途中で何度も結果を見て、有意になった時点で止める 偶然の差を「有意差あり」と判断する誤りが、設定した有意水準より増える 必要なデータ量と期間を先に決め、達してから判定する
同時に多くの要素を変える 差が出ても、何が効いたのか分からない 変更は仮説1つ分に絞る
期間が短い 曜日の偏りや、変更直後の一時的な反応に左右される 7日の倍数で、少なくとも1〜2週間は配信する
少ないアクセスで判断する 偶然のばらつきが大きく、結論が安定しない 事前に必要数を見積もり、足りないなら設計を見直す
曜日や時期が偏る 平日だけ、セール期間だけの結果は、ふだんに当てはまらない 開始と終了の曜日をそろえ、特殊な時期を避ける
多くの指標・多くのパターンを並べ、良いものだけを取り上げる 比べる数が増えるほど、どれかが偶然良く見える 主指標を1つに決め、パターン数を絞る
仮説なしに試す 結果が出ても学びが残らず、次に生かせない 事実・課題・変更・指標を文章にしてから始める
途中で設定や案を変える 変更の前後でデータの性質が変わり、比べられなくなる 変えたいときは止めて、新しいテストとしてやり直す

とくに注意したいのが、1つ目の「のぞき見」の問題です。テストの途中経過を毎日のように確認すること自体は、不具合の早期発見のために必要です。問題は、途中経過で有意差が出た瞬間にテストを止めて「勝ち」と判定することです。

p値は、データが集まる途中で上下に揺れ動きます。本当は差が無くても、何度も確認していれば、どこかの時点でたまたま有意水準を下回ることがあります。その瞬間に止めてしまうと、「差が無いのに差があると判断する誤り」が、決めていた5%よりも多くなります。先に決めたデータ量と期間に達するまで判定を待つ、というルールは、この誤りを防ぐためのものです。

なお、途中で判定しても誤りが増えないように設計された判定方式(逐次検定と呼ばれるものなど)を備えたツールもあります。その場合は、ツールの示す手順に従ってください。

「同時に多くを変える」についても補足します。見出しと画像とボタンを一度に変えたBが勝ったとしても、どれが効いたのかは分かりません。見出しは良かったのに画像が足を引っ張っていた、ということもありえます。ただし、ページ全体を作り直した新しい案と現行の案を比べたい、という目的なら、まとめて変えることにも意味があります。その場合は「どの要素が効いたかは分からない」と割り切ったうえで、リダイレクトテストなどで比べます。

配信の割合の考え方:配信率とA/B配分

A/Bテストの設定には、「割合」が2つ出てきます。混同しやすいので、分けて理解しておきます。

  • 配信率(実験に含める割合):全訪問者のうち、何%をテストの対象にするか。対象外の訪問者は、元のページをそのまま見ます
  • A/B配分:テストの対象になった訪問者を、AとBにどんな比率で振り分けるか

たとえば、配信率を20%、A/B配分を半分ずつに設定すると、全訪問者の80%は対象外で元のページを見て、10%がテスト対象としてAを、10%がBを見ることになります。

配信率20%・A/B配分半分ずつの例:全訪問者の80%は対象外、10%がA、10%がBを見る

A/B配分は半分ずつが基本です。同じ訪問者数なら、均等に分けたときに最も早く必要なデータが集まります。Bを少なめにする設定もできますが、少ない側のデータが集まるまで待つ必要があるため、期間は延びます。

配信率は、リスクと期間の兼ね合いで決めます。 配信率を下げると、変更が裏目に出たときに影響を受ける訪問者を減らせます。その代わり、テスト対象が少なくなるので、必要なデータが集まるまでの期間は長くなります。影響の読めない大きな変更は低い配信率から始めて不具合がないことを確かめ、問題がなければ広げる、という進め方がよく取られます。文言の差し替えのように影響の小さい変更なら、最初から全員を対象にして期間を短くするほうが合理的です。

2つの割合の違いはA/Bテストの「配信率」と「A/B配分」の違いで、設計上の考え方は配信率とA/B配分を分離する設計の話で詳しく説明しています。

A/BテストとSEO:検索への影響を抑えるために

「A/Bテストをすると検索順位に悪い影響が出ないか」という心配はよく聞かれます。Googleは、検索への影響を抑えながらテストを行うための指針をGoogle 検索セントラルのドキュメントで公開しています。要点は次のとおりです。

  • クローキングをしない:検索エンジンのクローラー(ページを巡回して読み取るプログラム)と人間の訪問者に、別々の内容を意図的に出し分けることをクローキングと呼び、スパムに関するポリシーに違反します。テスト中かどうかにかかわらず同じです。クローラーだけに特定のパターンを見せるような設定は避けます
  • 別URLで行うテストでは rel="canonical" を使う:リダイレクトテストのように複数のURLでテストする場合、テスト用のURLに rel="canonical"(正規のURLを検索エンジンに伝える指定)を付け、元のURLが優先すべきページだと示します。Googleは、この用途では noindex よりも rel="canonical" を推奨しています
  • 転送には一時的なリダイレクト(302)を使う:元のURLからテスト用のURLへ転送する場合は、恒久的な転送を表す301ではなく、一時的な転送を表す302を使います。JavaScriptによる転送でも問題ないとされています
  • テストは必要な期間だけ行う:十分なデータが集まったらテストを終え、テスト用のURLやスクリプトなどはできるだけ早く取り除きます。必要以上に長く続けていると、検索エンジンを欺こうとしていると解釈される場合があると説明されています

つまり、テストを放置しないことは、統計の面だけでなく検索の面でも大切です。終わったテストは片づけ、採用した案をサイト本体に正式に反映する、という一連の流れを最後まで行いましょう。

なお、ここで紹介したのはGoogleが公開している指針の概要です。検索順位への影響はサイトの状況によって異なるため、大きな変更を伴うテストの前には、原文と使っているツールの説明も確認することをおすすめします。

アクセスが少ないサイトではどうするか

サンプルサイズの節で見たとおり、A/Bテストには相応のデータが必要です。では、月間の訪問者が数千人規模のサイトでは、A/Bテストは無意味なのでしょうか。そうとは限りません。やり方を変えることで、判断の材料を増やせます。

大きな変更をテストする。 必要なデータ量は、見つけたい差が大きいほど少なくて済みます。ボタンの文言を少し変えるような小さな変更ではなく、訴求の軸を変える、ページの構成を組み替える、フォームの項目を大きく減らすといった、差が大きく出うる変更に絞ります。

アクセスの多いページで行う。 サイト全体では少なくても、流入が集まるページがあるはずです。トップページや、広告の受け皿になっているページなど、訪問者が最も多い場所を選びます。

成果の手前の指標を使う。 購入や契約は件数が少ないため、差の検出に時間がかかります。「フォームへの到達」「料金ページへの移動」のように、より多く発生する手前の行動を主指標にすると、必要なデータ量を抑えられます。ただし、手前の指標の改善が最終の成果につながるとは限らない点には注意が必要です。

パターンは2つに絞る。 3つ、4つと増やすと、1つあたりのデータが減ります。アクセスが少ないうちは、AとBの2つだけで比べます。

配信率は100%、A/B配分は半分ずつにする。 対象を絞ったり偏った配分にしたりすると、期間が延びます。

期間は長めに取り、それでも足りなければ割り切る。 4〜8週間程度まで期間を取っても必要数に届かない場合は、A/Bテストで白黒をつけることにこだわらない判断も必要です。

A/Bテストに向かない状況では、ほかの方法が役に立ちます。

  • ヒートマップで行動を観察する:少ないアクセスでも、「どこが読まれていないか」「どこが押されていないか」の傾向はつかめます
  • 利用者に直接聞く:数人に画面を使ってもらい、迷う場所を観察するだけでも、多くの課題が見つかります
  • 明らかな問題は、テストせずに直す:リンク切れ、読みにくい文字、動かないボタンなど、直して悪くなる理由が考えにくいものは、検証を待つ必要はありません

A/Bテストツールの種類と選び方

A/Bテストを行うには、振り分け・表示の切り替え・計測・集計を担うツールが必要です。仕組みの面からは、大きく2つに分かれます。

クライアントサイド

  • 仕組み:ページにタグ(計測用の短いコード)を入れ、訪問者のブラウザ上でページの一部を書き換える
  • 主な担当:マーケターやWeb担当者。画面上の操作で変更を作れるツールが多い
  • 向いている変更:文言・画像・色・配置など、見た目の変更
  • 注意点:書き換えの前に元の表示が一瞬見える「ちらつき(フリッカー)」が起きることがある

サーバーサイド

  • 仕組み:サーバー側のプログラムで、訪問者ごとに出す内容を切り替える
  • 主な担当:エンジニア。プログラムの変更が必要
  • 向いている変更:料金の計算、検索や表示順のしくみ、アプリの機能など、裏側の処理を含む変更
  • 注意点:導入と運用に開発の手間がかかる

Webページの見出しやボタンを試したいという、この記事で想定している用途であれば、まずはクライアントサイドのツールが候補になります。

ツールを選ぶときは、次のような点を確かめます。

  • 変更を画面上の操作で作れるか、コードを書く必要があるか
  • 判定にどの統計の方式を使い、結果をどう表示するか
  • 配信率とA/B配分を別々に設定できるか
  • リダイレクトテストに対応しているか
  • 料金が何に応じて増えるか(訪問者数、計測回数、利用人数など)
  • ヒートマップなど、仮説づくりに使うデータと合わせて見られるか

Google オプティマイズの提供終了

無料で使えるA/Bテストツールとして広く利用されていた Google オプティマイズ(Google Optimize)は、2023年9月に提供を終了しました。それまで Google オプティマイズを使っていたサイトは、ほかのツールへの移行が必要になっています。

現在は、Optimizely、VWO、AB Tasty といった専業のA/Bテストツールのほか、国内で提供されている Ptengine や SiTest のようにヒートマップとA/Bテストを合わせて使えるツール、開発者向けの実験基盤など、さまざまな選択肢があります。必要な機能と予算はサイトの規模によって大きく違うため、自社の用途に合うものを選ぶことが大切です。主要なツールの価格帯や方式の違いは、A/Bテストツール競合調査 2026で整理しています。

ヒートマップ・Web接客と組み合わせて改善を回す

A/Bテストは、単独で使うよりも、ほかの道具と組み合わせたときに力を発揮します。

改善の流れは、「見つける → 直す案を作る → 確かめる」の繰り返しです。

改善の流れ:見つける・案を作る・A/Bテストで確かめる・反映するを繰り返す

  1. 見つける:アクセス解析で課題のあるページを、ヒートマップでページの中の課題箇所を特定します
  2. 直す案を作る:見つけた課題から仮説を立て、変更案を作ります
  3. 確かめる:A/Bテストで、変更案が本当に成果を上げるかを検証します
  4. 反映して次へ:良かった案を反映し、変更後のページをもう一度ヒートマップで観察します

A/Bテストの結果が出たあとにヒートマップを見ることも有用です。Bが勝ったとき、訪問者の行動がどう変わったのか(読まれる範囲が広がったのか、押される場所が変わったのか)を確かめると、「なぜ良かったのか」の手がかりが得られ、次の仮説につながります。

また、ページそのものを変えるのではなく、ポップアップや固定バーで案内を出す Web接客 の施策でも、A/Bテストの考え方はそのまま使えます。出す・出さない、文言、表示のタイミングなどを比べる場合も、無作為に分けて同じ期間に比べる、という原則は変わりません。Web接客の基本はWeb接客とは?で説明しています。

HeatMapX について

HeatMapX は、サイトにタグを入れてヒートマップを計測できるツールで、無料の Free プランから利用できます(プランの内容は料金ページをご覧ください)。A/Bテスト機能は順次提供を進めている段階です。まずはヒートマップで自分のサイトの「見られ方」を把握し、どこを試すべきかの仮説を用意しておくと、A/Bテストを始めるときにすぐ動けます。

ヒートマップツールをほかの製品と比べて選びたい方は、ヒートマップツールの比較も参考にしてください。

A/Bテストのよくある質問

A/Bテストとは、簡単に言うと何ですか?

ページの2つのパターンを、訪問者に無作為に出し分けて同じ期間に配信し、どちらの成果が高いかを数字で比べる方法です。変更の効果を、季節や広告などほかの要因と切り分けて確かめられる点が、変更の前後を比べるやり方との違いです。

A/Bテストはどれくらいの期間、行えばよいですか?

必要なサンプルサイズを、1日あたりの訪問者数で割って見積もります。曜日による偏りを避けるため7日の倍数で区切り、少なくとも1〜2週間は配信するのが一般的な目安です。アクセスが多く数日で必要数に達する場合も、1週間は続けることをおすすめします。反対に、2か月を大きく超えるようなら設計を見直します。

どれくらいのアクセスがあればA/Bテストができますか?

一律の基準はありません。現在のコンバージョン率と、見つけたい差の大きさで変わります。本文の計算例では、コンバージョン率2.0%のページで相対2割の改善を確かめるのに、1パターンあたり約21,100人が必要でした。アクセスが少ない場合は、大きな変更に絞る、手前の指標を使う、といった工夫で必要数を抑えられます。

有意差が出なかったときは、どうすればよいですか?

決めた期間を過ぎてから「有意になるまで延ばす」ことは避けます。「今回の変更では、見つけたい大きさの差は確認できなかった」と記録し、仮説が外れていたのか、変更が小さすぎたのかを振り返ります。どちらを採用しても成果が変わらないなら、運用しやすいほうを選んで問題ありません。有意差なしは、失敗ではなく1つの結果です。

p値が0.05より小さければ、Bが優れていると言い切ってよいですか?

言い切ることはできません。p値は「差が無いと仮定したとき、観測した以上の差が偶然出る確率」であり、「Bが優れている確率」ではありません。有意水準5%で判定する場合、効果の無い変更でも20回に1回程度は有意差が出ます。差の大きさ、信頼区間、ガードレール指標も合わせて確かめ、重要な変更は反映後の数字も見守ります。

A/BテストはSEOに悪影響がありますか?

Googleは、指針に沿って行えば検索への影響を抑えられるとして、注意点を公開しています。クローラーと人に別の内容を出し分けない、別URLのテストでは rel="canonical" を付ける、転送には302を使う、必要な期間が過ぎたらテストを終えて設定を片づける、の4点が要点です。詳しくは本文の「A/BテストとSEO」の節をご覧ください。

まとめ:まずは1つの仮説から始める

A/Bテストは、訪問者を無作為に分けて同じ期間に比べることで、変更の効果をほかの要因から切り分けて確かめる方法です。本記事の要点を整理します。

  • 仕組み:無作為に振り分け、同じ期間に配信し、同じ人には同じパターンを見せ続ける。これにより、差の原因を「変更点」に絞り込める
  • 進め方:目的と指標 → 仮説 → 案の作成 → 配信 → 判定 → 反映の6ステップ。指標・データ量・期間・判定の基準は配信の前に決める
  • データ量と期間:小さな差を確かめるほど多くのデータが必要。期間は7日の倍数で、少なくとも1〜2週間
  • 有意差:偶然では説明しにくい差かどうかの目安。p値は「Bが勝っている確率」ではなく、有意差なしは「差が無い」という意味でもない
  • 失敗を避ける:途中の結果で止めない、変更は仮説1つ分に絞る、主指標は1つにする
  • アクセスが少ないとき:大きな変更・アクセスの多いページ・手前の指標に絞り、足りなければ観察や聞き取りで補う

次の行動としては、まず自分のサイトで成果に最も近く、訪問者が多いページを1つ選び、そのページの課題をデータで確かめるところから始めるのがおすすめです。ヒートマップやアクセス解析で「どこに問題がありそうか」を見つけ、事実・課題・変更・指標の4点を文章にした仮説を1つ作ってみてください。仮説が1つあれば、必要なデータ量と期間を見積もり、最初のA/Bテストを設計できます。

1回のテストで大きく数字が変わるとは限りません。けれども、確かめた事実を1つずつ積み上げていくことが、勘に頼らないサイト改善の土台になります。

ヒートマップ・A/Bテスト・Web接客を、まずは無料で。

計測タグを1行貼るだけで始められます。Claude などのAIにつないで、分析から改善まで会話で進めることもできます。クレジットカードの登録は不要です。