テクノロジカルマーケティング部の池谷です。本記事では社内で行った A/B テスト勉強会についてご紹介します。
背景
A/B テストとは、統計学に基づいた意思決定のフレームワークです。社内でも当たり前のように使われており、新しい施策を採用するか否かを決定づける重要な道具です。
意思決定の基盤ともいえる A/B テストですが、社内において正しく使われているのか？という疑問がありました。
- 集計データをなんとなく見て勝ちパターンを決定してもいいの？
- パターン間に差が出なかったからといってテスト期間を延長してもいいの？
- 反対に、有意差が出たからといってテストを早めに切り上げてもいいの？
そこで、A/B テスト勉強会を実施するとともに、そこで得た知見をガイドラインという形でまとめることにしました。
勉強会の内容
数学的な事柄から実践的なケーススタディまで様々なトピックについて扱いました。
- A/B テストの理想像を考えてみる
- 統計的な正しさとビジネス的な正しさのバランスがとれた A/B テストが理想
- 統計的に正しくなければ、正しい意思決定はできない
- しかし統計的な正しさを追求しすぎると計算や手順が煩雑になる
- サンプルサイズ設計について
- 必要サンプルサイズがどのように決定されるかを数式で理解
- 具体例を用いたケーススタディ
- 予定されている社内の A/B テストを取り上げて、どのように計画するのがベストかを考えた
- 差がないことを主張する枠組み
- 通常の検定では、差がないことを積極的に主張することはできない
- 信頼区間を用いた、差がないことや劣っていないことを主張する枠組みがある
- A/B テストを行う上で気をつけたいこと
- やりがちなミスや罠を紹介
成果と学び
勉強会に参加してくださった方は、参加する前に比べて A/B テストについてより深く議論できるようになったのではないかと思います。A/B テストを計画した際、「こういう指標のほうがいいんじゃない？」と助言していただいたこともありました。
また、勉強会は知識の共有や疑問解決の場にもなっていました。勉強会中に解決できなかった疑問は次回以降のトピックに回したりなどして、柔軟に勉強会を組み立てられたと思います。
一方で、理想的な A/B テストを実践することの難しさを痛感しました。例えば必要なサンプルサイズは計算で出せますが、現実的にそのサンプルサイズを確保出来ない場合にどうすべきかは自分で判断しなくてはなりません。統計学を実践するにあたっての、理想と現実の折衷案を統計学は教えてくれるわけではないのです。
社内ガイドラインの作成
勉強会で得られた知見は A/B テストガイドラインという形でまとめました。今のところ以下の内容から構成されています。
- A/B テストの全体の流れ
- 気をつけるべき落とし穴
- 統計入門
まだ網羅性に欠けていたり、深く考えきれていない点もあるため、いろんな方の意見や疑問を取り入れて今後もブラッシュアップさせていきたいと考えています。
参考文献
A/B テストを効果的に行うためには、統計学の基礎的な理解とともに、統計学が教えてはくれないベストプラクティスも知る必要があります。その意味で参考になった文献を 3 つ紹介します。
統計学が最強の学問である
専門書というよりは読み物です。数式を多用せず、統計学の基礎的であるサンプリングや誤差について解説されています。統計学の考え方と、それが現実世界でどのように適用されるかを俯瞰するには良い本だと思います。
この本のシリーズには 実践編 や 数学編、 ビジネス編 もあります。この 3 冊の中では実践編しか読んでいないのですが、検定や回帰分析などの統計ツールの考え方とその使い方が解説されており、勉強会の資料を作成する際も参照しました。
ダメな統計学
こちらは Statistics Done Wrong の日本語訳です。統計学の間違った使われ方について書かれています。最強とも言われる学問であったとしても、使い方を間違えるとどんな誤った結論を導いてしまうかがわかり、読み物としても面白いです。
A/Bテスト実践ガイド
こちらは勉強会の最終回頃に発売されたため、勉強会用の資料作成には使えませんでした。指標の決め方やありがちなミス、システムの設計など、その名の通り実践的な事柄が書かれています。少しずつ実践に取り入れていきたいなと思える内容でした。
まとめ
勉強会を開始してからというもの、A/B テストについてはたくさん考えてきました。それでも実践するのは難しいなと感じています。社内の A/B テスト実施者にヒアリングしてみたところ、やはりうまく A/B テストをやれているか不安だという方がいました。現状では A/B テストに関する知見が社内で共有されていない状態です。今後はガイドラインや勉強会の参加者を通じて、A/B テストにまつわる悩みや知見が共有・蓄積されていく文化が形成されるといいなと思っています。
