こんにちは！
ASUE株式会社でWebディレクターをしているサトウです。

Webマーケティングに携わっていると、よく「ABテスト」というワードを耳にしますよね。なんとな〜く社内のWeb担当になって、なんとな〜く何かしなきゃ……！と思って、よくわからないまま適当に実施したなんてことありませんか？

ASUEでも、お客様からこのようなご相談をいただくことがあります。

ABテストの基礎知識

ABテストとは？

ABテストとは、広告などで2種類のクリエイティブ（AとB）を用意して、同じ期間かつ同じ条件下でどちらが費用対効果の高い結果を出せるのかを検証するテストのことを言います。

などの利点から、Webマーケティングでよく利用される方法です。

また、似たようなテストで複数の要素のそれぞれの複数パターンを組み合わせてテストを行う「多変量テスト」というものもありますが、今回はABテストについてのお話です。

なぜやるの？どんなときに使えるの？

主な目的は、ずばりCVR(コンバージョン率)やCTR（クリック率）の改善につなげるためで、ABテストを必要とするのは次の2パターンが多いです。

1. 広告クリエイティブの改善

広告の画像やテキストの一部を変える AB テストをおこないます。
既存のA案と比較するB案を用意するだけなので、Web サイト・ランディングページの AB テストよりも比較的簡単な場合が多いです。

この場合は、主に広告のクリック率を比較します。

2. サイトやランディングページ（LP）の改善

Webサイト・ランディングページの一部を変えることで、ページを改善するためのABテストを行います。

テストはまずインパクトの大きいパーツからやることが多く、例えばコンバージョンに直結するCTA（アクションボタン）や、キービジュアルのメインメッセージとメインイメージ、入力フォームの項目などがよくテストされる箇所になります。

実際のABテストのクリエイティブ例はこのもう少し先で解説しています。方法だけ知りたいよ！という人は「具体的なクリエイティブの回し方実例ポイント(画像つき)」へどうぞ。

また、今回お話ししないLPの改善については、過去に改善ポイントをまとめた記事があるのでよかったら参考にしてくださいね！

ABテストのメリットは？

ABテストのメリットは、次の3点があげられます。

メリットしかないように思えるABテストですが、正しい方法をとらないと効果がなかったり間違った方向へ進んでしまうことも起こります。「なんとなく頭でわかっているが、実践となると難しい…」という声も多く聞きます。

それでは、具体的にどんなことをしていくのか見ていきましょう。

ABテストの具体的な実施方法

準備が大切！やることまとめ

しっかり事前準備を行い、結果を分析することで仮説検証ができます。やみくもに行う施策よりも確実に意義のある改善アクションが実行できるようになります。

実施する際には、課題の抽出や仮説、目標設定と準備を入念に行った上でテストをして、その後結果の検証や分析まで行うことが重要です。

仮説を立てて実施することで、仮説を持って作ったクリエイティブが負けてしまった場合でも、その失敗自体をマーケティングの知見として得ることができます。

チェックポイント

実際にテストを行う際に、留意すべき点を5つまとめました。ぜひ参考にしていただけたらうれしいです！

1. 仮説を立てているか

結果が出てから勝ち負けの理由を後付けしているパターンを見かけることがありますが、Aが勝ったらこう、Bが勝ったらこう、という明確な仮説をテスト前に立てることが重要です。

事前の仮説を立てていない場合は、なぜ勝てたのか、変更したどの点がどのように良かったかの判別ができません。

2. 適切なスケジュールで回せるか

結果が確定するまでにはある程度の期間を要します。結果検証するための母数を必要とするため、2週間〜1ヶ月といった期間になることが多いです。ただし時間をかけることが必ずしも成果に結びつくとは限りません。

時間をかけるのではなく、仮説に基づく可能性の高い改善アイディアをどんどんテストして検証していく姿勢も大切です。

3. 母数を確保できるか

多変量テストのような大量のトラフィックを必要としないまでも、ABテストの検証にも一定数の母数が必要となります。状況にもよりますが、最低でも数百〜数千は必要です。

このため、あまりにもアクセス数が集まらず有意差が見られない場合、テスト期間が長期化したりテスト自体が無効化してしまうため注意が必要です。

また、統計学的に必要な母数は、こちらのサイトから計算できるのでご参考ください。

・A/B test sample size calculator
https://www.optimizely.com/sample-size-calculator/?conversion=3&effect=20&significance=95

4. 比較条件を同じにできるか

勝ち広告の何が良かったのかが分かりやすいように、変更点は明確に特定しやすくするのがポイントです。

他の要因が結果に影響を及ぼして純粋にクリエイティブ同士の成果が比較できない事態にならないよう、条件はなるべく同じにします。

5. 変数を増やしすぎていないか

色々な改善案が思い浮かんで、同時に複数のABテストを実施してしまうケースがありますが、これではどのABテストが有効だったかが不明確です。

多変量テストとして実施する場合はともかく、1度に行うABテストは仮説に基づき1要素までがおすすめです。

[画像付]クリエイティブの作り方—NG例から学ぶ具体的なポイント

一気に変えてテストしない！まずは少しずつ順番に！

これは、バナーに使用している写真もコピーも両方がらっと変えた全く違うバナー同士を比較してしまっています。

バラバラのクリエイティブでテストを行なっても勝因や敗因を絞り込むことができないため、いきなり大きく変えないことが重要です。きちんと計画を立てた上でテストを実施しましょう。

思いつきでレイアウトや素材、訴求を変更するのは悪手なので、テストからある程度勝ちパターンが見えてきてから試すのがベストです。

仮説もなく、あれこれ一度に試さない

前項に通じるところがありますが、仮説もなく変数を多く持つ（=条件を変えた状態）は、純粋な比較がしにくくなるという問題があります。

条件が複数になると煩雑化してしまい、勝ち負けすらわからなくなってしまうことがあります。短期間でできるだけ母数を集めてテストを実施するなら、AパターンBパターンの2種で試すのがおすすめです。

意味のないテストをしない

例えば、カタカナをひらがなにしてテストしたりデザインのボタン風の部分の色を変更してテストしたり……など、これは極端な例になりますが、言い回しや色などの微妙な変更は枝葉の施策でしかありません。

絶対とは言い切れませんが、結果には微差しか期待できず時間をとったわりに意味のないテスト結果になってしまいます。

すぐに試せる！クリエイティブテストの回し方【OK例】

ということで、ここからは一般的に正しいABテストの実施方法をご説明します！

まずはキャッチコピーから〜勝ち訴求を見つけよう

同じクリエイティブで、異なる訴求のキャッチコピーを使ったテストを実施します。より良い訴求を見つけるために複数回テストを行う場合もあります。

続いて、素材のテスト

コピーのテストから、勝ちパターンのコピーが見つかったら素材のテストを行います。

例えば、お悩みのイメージ素材と商品のパッケージの素材の比較や写真とイラストの比較などが考えられます。

社内にデザイナーさんがいない……などの場合は、クリエイティブ作成に使える無料ツールもあるので自分で作って試すことも可能です。

また、バナー作成の際にはこちらの記事もぜひご参考にどうぞ！

結果検証

ABテストをやる上では、準備と実施だけでなくテスト後の結果検証が重要です。結果検証をする上で知っておくといいポイントをご紹介します。

有意差

ABテストの結果を正しく検証するためには、「Aパターン」と「Bパターン」へのユーザー反応に、誤差ではない明らかな差がつく必要があります。これを有意差といいます。

偶然ではないと言えるような明確な結果の差を意味します。微差しかない場合は、以下のような原因が考えられます。

なにが該当するかの判断には、まずは解析ツールなどのデータからテストに十分な母数(アクセス数)を満たしているかを確認する必要があります。また過去のコンバージョン率(CVR)やクリック率(CTR)を基準として数値の比較を行います。

検定方法

テストの結果に有意差があるかどうか、計算して確認することを検定と呼びます。一定期間テストを実施してある程度の母数を獲得できたら、このような方法できちんと結果を検証しましょう！

一般的な検定の流れは、CVRやCTRなどABテストの指標にあたる値が正規分布に従うとした上で、帰無仮説（=ABテストの場合、AとBに有意差はないという仮説）と対立仮説（=ABテストの場合、AとBに有意差があるとする仮説）を立てて、帰無仮説が有意水準以下（一般には5%とする）の確率でしか起きないことを証明することで、有意差がある！とします。

A/Bテスト信頼度判定ツールでは、訪問数とコンバージョン数、インプレッションとクリック数、クリック数とコンバージョン数などの組み合わせで入力すると、有意差を計算できるWebブラウザツールです。

この有意差があるかどうか判定するための検定でよく使うのがカイ二乗検定です。この方法では、AパターンとBパターンのCVR等の分布の差で有意差があるかどうか判定する方法です。

A（オリジナル）とB（改善）のクリック率の有意差を判定したい場合は、AのCTRとBのCTRが同じであると仮定して（帰無仮説）、その場合のAとBのクリック数の期待度数と、クリックされない数の期待度数の4つを求めることで、カイ二乗値を計算し、そのカイ二乗値の大きさから有意差があるかどうかが確認できます。

この説明はかなりざっくりとしたものなので、詳しい方法などを知りたい方は、参考記事などをご確認ください。

今回はこのカイ二乗検定（有意水準5%、ABテストのため自由度は1とする）が簡単にできるスプレッドシートの見本を作成しました。（参考記事等でやり方調べて辿り着きました……）
スプレッドシートは閲覧のみOKになっているので、セルを選択してご自身のスプレッドシート内にコピペしてご利用ください！ 計算過程もわかるような状態にしたので、気になる方はご覧ください！！（間違えてたら教えてください……）

また、WebサイトのABテストの場合はGoogle オプティマイズなどを使用すると結果もわかりやすいです。

まとめ

簡単に始められて、スピーディに改善アイディアを試せる。これがABテストのメリットでもあります。バナー画像内の細かいデザイン修正は、テストが終了して優秀な勝ちクリエイティブが決定したあとでも遅くはありません。

クリエイティブの準備となると、ついデザイン性の高いバナーを作ることに時間を取られがちですが、テスト実施をするときは、「バナーの制作時間」よりも、仮説やテスト内容、目標をしっかり設定し、それをどんなクリエイティブによって検証するのか「考えること」に時間を優先的に使いましょう。

データに基づき、意味のあるABテストをしっかり使いこなして広告成果をガンガン上げていきましょう！

ASUEでは、仮説検証や分析を行ってクリエイティブの改善ができる「バナーサブスク」のサービスもやっております。そちらも、気になる方はぜひご相談くださいね！