結果を確認する

ABテストの実施を開始したら、データがたまってきます。Google Optimizeでの結果の確認方法と、GA4で更に深掘りするための方法を見てみましょう。

テスト中のステータス

テスト中は「テストを続けてください」という内容が表示されます。まだ2週間経っていない、あるいは有意差が出ていない場合はこのような画面になります。

2週間経っていない場合、結果に明らかな差があっても上記の表示になります。しかし明らかに数値が良い・悪い場合はテストを止めても問題ありません。

テストが2週間以上経って、勝者が決まった場合は以下の形になります。

Google Optimizeでのデータの見方

Google OptimizeとGA4を連携している場合、以下のレポートがGoogle Optimize上で表示されます。

実測データ(GA4から取得)
 テスト購買ユーザー数:テスト対象の人数 ※「購買ユーザー数」は誤訳です
 ページビュー数(テスト):テストの評価として設定した目標によって名称が変わります。左上のプルダウンで切り替えてください
 購買ユーザーあたりのページビュー数:ページビュー数÷足すと対象人数

オプティマイズ分析(オプティマイズで算出)
 最適である確率:このパターンが本番リリースされた時に他パターンと比べて勝つ確率
 購買ユーザーあたりのページビュー数:中央値、中央値50%、中央値95%を表示
 改善率:オリジナルに比べて目標が何%改善するかをレンジで表示

ページ下部には日ごとの推移が確認できます。折れ線が実数値、塗られている部分が中央値95%となります。

Google Analytics 4での確認方法

Google Analytics 4と連携すると、experiment_impressionというイベントが新たに作成されます。

このイベントはABテストがユーザーに対して発生するたびにカウントされます。上記の例では2,298人に対してテストページ(オリジナル含む)が4,941回表示されたことを意味しています。

またこのイベントに関しては、2つのイベントパラメータが生成されます。

experiment_id
テストID(Google Optimizeで生成したテストのテストID。以下、画像を参照)

variant_id
テストID.バリエーション。テストIDの後に番号が割り当てられます。オリジナル=0、1つ目のテストパターン=1 といった具合です。

これら2つのイベントパラメータを利用するには、カスタムディメンションへの登録が必要となります。GA4管理画面のカスタム定義から、2つのパラメータを登録しましょう。 カスタムディメンションの登録をすることで、探索レポートで利用出来るようになります。

探索レポートでは自由形式を使って表示を行います。作成したexperiment_idやvariant_idをディメンションとして利用しましょう。

数値確認の用途であれば、上記だけで良いのですが、分析に活用する場合は「セグメント」としてそれぞれのテストパターンを登録すると良いでしょう。variant_idをディメンションを利用してセグメントを作成します。

利用例としては、それぞれのテストパターンに対してのファネルを見たい場合は「目標到達プロセスデータ探索」を利用してセグメントを追加すると、テストパターンごとの遷移率が見れます。

2:8のテスト配信比率のため、ユーザー数はかなり違います。見るべきポイントは「完了率」になります

Google Optimizeでは結果しか表示されませんが、GA4とセットで利用することにより深掘りを行うことができます。

参考になりましたか?