こんにちは。
広告においてクリエイティブは大事ですよね。
Web広告も同様で、よくクリエイティブテストのご依頼を受けたり、こちらから提案したりしています。
テストの中でも、特にABテストは2パターンを比べるだけの手軽なテストなので行われている方も多いと思います。
でも、実は奥が深いのです。
そこで今回は、ABテストで陥りがちな落とし穴をいくつかご紹介します。
CASE1. 母数が足りない
早速ですが、下記数値を見てみてください。
さてAとB、どちらのほうが効果が高いといえるでしょうか？
正解は「この数値だけでは判断できない」です。
なぜ判断できないかといいますと、表示回数、クリック数がわからないからです。
それでは、表示回数、クリック数も加えた下記表の場合はどうでしょうか？
A、Bともにクリック数が1しかないのに、どちらがいいとは判断できないですよね。
意外にこういったことは多く、ついつい率だけで判断してしまいがちですが、母数も確認するようにしましょう。
状況にもよりますが、目安として100以上の母数があるといいですね。
CASE2. 状況が違う
次に、こういった場合ではどちらよいと思いますか？
これも正解は「判断できない」です。
閑散期に比べると全品無料セール中の広告のクリック率が高くなるのは想像できますし、そもそも比べること自体に違和感を覚えますよね。
これは極端な例ですが、気をつけたいことは「配信している状況が異なってはいけない」です。
ABテストは2つを比較検証するテストなので、配信状況をできるだけ揃える必要があります。
開始時期と終了時期を揃え、イレギュラーな要素が入らないよう、ABテストの日程を設定しましょう。
CASE3. いろいろな部分をテストする
母数もしっかりあり、状況も揃えた下記ではどうでしょうか？
これはAのほうがよさそうな気がしますが、本当にそうでしょうか？
Aのほうが効果が高いとした場合、何が要因でしょうか？
これも「判断できない」ですね。
ABテストは、複数の部分を変更したもの同士で行うと、判断しづらくなります。
なぜなら「どの点がA（B）と比べて良かったのか」がわからないからです。
ABテストを行う箇所は１か所に絞りましょう。
CASE4. 仮説・目的がない
CASE1～3に気をつけて、ABテストを行った結果、Aがやはりよいとなりました。
それでは次の手はどうしましょう？
Aに変更を加えたCを作り、ABテストを再度行いましょうか？
その場合、どこを変更したらよいでしょうか？
ここで考えたいのが、「ABテストの仮説と目的」です。
なんとなくABテストを行った場合、それで満足して終わり、となってしまうことが多いです。
ABテストを行う前に、「どういった仮説や目的をもってテストを行うのか」をしっかり設計しておきましょう。
たとえば、
- 価格と品質、どちらかがユーザーに響いているという仮説がある。そのため、Aは価格訴求、Bは品質訴求でABテスト
- Aが勝った場合、品質は響いていないと判断。次は送料無料訴求とテストしてみる。
- Bが勝った場合、価格は響いていないと判断。次は返品可能訴求とテストしてみる。
といったように、仮説や目的を立て、次の打ち手まで考えてABテストを設計することが大切です。
要するにPDCAをちゃんと回す、ということですね。
まとめ
ABテストの落とし穴をいくつかご紹介しましたが、個人的に最も大事なのはCASE4だと思っています。
仮説や目的がないテストは「次の打ち手」を創造できず、改善や施策につながりづらくなってしまいます。
簡単に行えるABテストだからこそ、仮説や目的を設計してから行うようにしましょう。
