仮説を数字で書き MVP の範囲を切る
一言でいうと
MVPは「小さな製品」ではなく、最も危険な仮説を1つ、最も安く試す装置です。そのためには、仮説を、「誰が・何を・どれだけ」が入った数字の文として書き、通過・失敗・保留の基準を試験の前に決め、結果は、誰が試験に参加したかまで考えて読む必要があります。機能の範囲は、その後に、仮説を試すのに必要な分だけ切ります。
なぜ必要なのか
「みんなが気に入りそう」は、仮説ではありません。どんな結果が出ても、当たっていたと言い張れるからです。間違いうるものでなければ、試せません。「フリーランスのデザイナーの訪問者の3%以上が、月9,900ウォンの前払いを押す」は、間違いうるものです。
2つ目の落とし穴は、試験の対象です。最初の紹介ページを、創業者のニュースレターと知人に先に回すと、コンバージョン率が高く出ます。その人たちは、製品ではなく創業者を信じて押します。見知らぬ人に同じページを見せたときの数字が、市場の数字です。
3つ目は、範囲です。機能候補をスコアで並べると、作りやすいものが上に上がってきます。ダークモードは安く、多くの人が使いますが、前払いの仮説を試すのには、何の役にも立ちません。
どう動くのか
仮説の文と基準: 指標(事前注文率 = 事前注文 ÷ 訪問者)、基準値(例: 3%)、対象(見知らぬ訪問者)を書きます。判定は、比率1つではなく区間で行います。前のモジュールで使った95%ウィルソン区間の下限が基準以上なら通過、上限が基準を下回れば失敗、基準が区間の中にあれば保留(まだ不明)です。基準値の3%は、このラボの例であり、実際には、ユニットエコノミクス(価格・CAC)から逆算して決めるほうがよいでしょう。価格のモジュールで扱います。
保留なら標本を増やします: 今の比率がそのままなら、訪問者が何人になれば、区間が基準から外れるかを計算できます。このラボは、nを1から増やしながら、k = round(p·n)で区間を計算し直す、単純な方法を使います。必要な訪問者が今よりはるかに多いなら、そのチャネルは、試験の手段として高くつくという意味でもあります。
ウォームな聴衆を別に見ます: チャネルを合算した数字1つだけを見ると、コンバージョン率の高い知人のチャネルが平均を押し上げて、「ほぼ通過」のように見えます。知人のチャネルを除いた、見知らぬ人のチャネルだけの判定を別に出し、決定はそちらで行います。
RICEで範囲を切りますが、仮説が先です: IntercomのRICEの記事(Sean McBride)は、スコアを(Reach × Impact × Confidence) ÷ Effortとし、Impactは3・2・1・0.5・0.25の尺度で、Confidenceは100%・80%・50%で、Effortは人月(person-month)で測ると説明しています。このラボは、スコアの降順に、予算(人月)に収まるものだけを入れる、貪欲法で範囲を切ります。そして、その結果を仮説と突き合わせます。スコアが高くても、仮説を試さない機能(例: ダークモード)が範囲に入っているなら、スコア表ではなく、仮説が範囲を決めるべきだというシグナルです。
| 判断 | 根拠 |
|---|---|
| 作るか | 見知らぬ人のチャネルの判定が通過か |
| もっと試すか | 保留のチャネルのうち、必要な追加の訪問者が最も少ないところ |
| 何を作るか | 仮説を試す機能 → 予算内でRICE順 |
スモークテストの倫理: まだない製品の前払いを受けるなら、決済の直後に、「まだ準備中で、全額が返金されます」という事実をはっきりと知らせ、実際に返金します。人々がだまされたと感じれば、そのチャネルは次の試験に使えなくなり、何より、信頼は、初期の製品が持つほとんど唯一の資産です。決済の代わりに、「ウェイトリスト + 価格の確認」のような弱いシグナルで試すこともできますが、その分、シグナルが弱いことを、判定の基準に反映する必要があります。
現場での姿
- 知人200人に送った紹介ページの事前注文率7%で投資資料を作ったのに、広告で入ってきた人は1%台でした。
- MVPに、ログイン・通知・設定画面から入れているうちに3か月が過ぎて、肝心の決済ボタンはありませんでした。
- 保留の結果を、「もう少し集めれば通過するだろう」と読みます。必要な標本を計算してみると、今の何倍もあります。
間違いに気づく方法
- チャネル別の判定を先に見て、合算した判定が、1つのチャネルの数字に引っ張られていないかを確認します。合算した結果と、ウォームな聴衆を除いた結果が違えば、決定は後者で行います。
- 基準値を、結果を見た後で変えたくなったら、止まります。基準が結論についていき始めたら、試験ではなく説得になります。
- MVPの範囲に入った機能ごとに、「この機能がなければ、仮説を試せないか」を問います。いいえと答える機能が半分を超えるなら、範囲が仮説ではなくスコア表に従っています。
- 必要な標本が、今の訪問者の何倍もあるなら、同じチャネルで待つより、より安く標本を集められるチャネルがないかを先に見ます。
次のラボですること
4つのチャネルのスモークテストの結果で、チャネル別・全体・見知らぬ人のチャネルだけの判定を出し、保留のチャネルに訪問者があとどれだけ必要かを計算します。機能候補8つのRICEスコアで、予算内の範囲を切り、最後に、「作るか、もっと試すか、何を作るか」を、1枚で決めます。