DMのA/Bテストの正しいやり方　勝ち負けではなく顧客を理解する仮説検証

この動画の内容

ほとんどの企業のA/Bテストは、成果に直結していない

ほとんどの企業のA/Bテストは、成果に直結していません。当社は20年以上DM発送代行を行い、47都道府県でA/Bテストを繰り返すなかで、この事実にたどり着きました。多くの担当者が、A/Bテストを「AとBのどちらが勝つか」を決める比較ゲームだと誤解しているためです。しかも、真剣にA/Bテストを行えば行うほど判断の基準が分からなくなり、多くの会社でA/Bテストが形だけになったり、やめてしまったりします。私も、この問題に長い間苦しみました。

本来のA/Bテストは、顧客心理を理解するための仮説検証

本来のA/Bテストは、勝者を決めるためではなく、顧客心理を理解するための仮説検証のプロセスで、「なぜその結果になったのか」を学ぶ手段です。

年商5億円以上の意思決定で、年間の粗利が変わる

年商5億円以上では、DM施策の意思決定を感覚で行うか、検証されたデータで行うかによって、年間の粗利が大きく変わります。1回のDM施策の予算が数百万円になることもあります。

A/Bテストの効果には、表現とコンセプトの2つの層がある

A/Bテストの効果には、決定的に異なる2つの層があります。上の層は「どのように言うか」という表現で、コピーの言い回しや写真の選び方など、細かな違いを積み重ねる段階では、成約率の変動は20パーセントから50パーセント程度にとどまります。下の層は「何を言うか」というコンセプトで、根本的な訴求そのものを問う層です。ここを外すと、後のデザインの調整では取り戻せず、ここを変えると成約率が2倍から3倍以上に変わる可能性があります。たとえば軽量バッグで、「軽さ」を売るか「コンパクト」を売るかはコンセプトの選択で、「羽のような軽さ」と「わたがしのような軽さ」のどちらが響くかは表現の選択です。多くの企業は、この2つを区別せずに1つのキャッチコピーとしてテストして時間を使っており、これがA/Bテストで成果が出ない主な原因です。

一度に変える要素は1つだけにし、事実と表現を分けて検証する

A/Bテストの基本原則は、一度に変える要素を1つだけに絞り、事実と表現を分けて順番に検証することです。キャッチコピー、本文、写真、特典、発送のタイミングを同時に変えると、何が結果に効いたのか分からなくなります。さらに、事実（スペック）と表現（コピー）を対立させないことも大切です。「タンク66L・航続1800km」という事実と、「給油は1回だけで大丈夫」という表現は、本来違う層の検証対象です。まず事実の強さを検証し、その後に表現を磨く、この順番を守ることで、テストの精度が大きく上がります。

並行テストと逐次テストの使い分け

テストの方法は並行テストと逐次テストの2種類で、状況に応じて使い分けます。同時に発送して条件をそろえる並行テストは比較の精度が高く、時期をずらす逐次テストは手間が少なく、初めて取り組む企業に向いています。

進化型のA/Bテストは、合格ラインを決めて5つのステップで進める

従来型のA/Bテストが、AとBのどちらが優れているかを決める相対評価であるのに対し、進化型のA/Bテストは、合格ラインを超えたかどうかを判定する絶対評価で、5つのステップで進めます。1つ目は情報収集で、ユーザー、商品、競合を徹底的に調べ、仮説の種を大量に用意します。2つ目はコンセプトの抽出で、100案のキャッチコピーから核となる3案から5案に絞り込みます。600案を出して絞り込むこともあります。3つ目は表現のテストで、残ったコンセプトに対して10案以上のコピーやビジュアルを展開します。4つ目は合格基準値の設定で、上限の獲得単価（CPO）や必要な成約率（CVR）を数値で決めます。5つ目は学習サイクルで、テストの実施、仮説の修正、次の案の作成を素早く回します。基準に届かなければ、両方とも捨てて根本から作り直します。これが、サンクコストに引きずられない、冷静な意思決定です。

現場でよく見る失敗は、数撃ち、丸パクリ、初回購入率だけの判断

現場でよく見る失敗は、数撃ちゃ当たるのテスト、他社のヒットDMの丸パクリ、初回購入率だけでの判断の3つです。仮説のない大量のテストは、時間とコストを浪費するだけです。他社のヒットDMを真似したくなることもありますが、大ヒットしたチラシを真似しても反応率がゼロだった工務店の事例があります。戦略の背景が見えないまま表面のデザインだけを写しても効果はなく、特にキャラクターの違う会社の模倣は、致命的な結果を招くことがあります。また、強力なオファーに反応した顧客は、2回目の購入率が下がることがあり、結果として収益が悪化する場合があります。A/Bテストの評価基準は、初回の反応率ではなく、ライフタイムバリューに置くべきです。

A/Bテストの本質は、勝敗ではなく顧客理解

A/Bテストの本質は、勝敗の判定ではなく、顧客理解を深めることです。1回のテストで終わらせず、結果から学んだ「なぜ」を、すぐに次の仮説に反映させます。これが、年商5億円の壁を超えて成長し続ける企業の共通点です。測定できないものは改善できません。DM施策の意思決定を、感覚からデータに変えることが大切です。反応を数字で測る考え方はDMの効果測定のページで紹介しています。