把假设写成数字,再裁剪 MVP 范围
一句话总结
MVP 不是“小产品”,而是以最低成本检验最危险的那一个假设的装置。为此,要把假设写成包含“谁、做什么、多少”的数字语句,在检验之前就确定通过、失败、待定的标准,并且读结果时连是谁参与了检验也要考虑进去。功能范围在这之后才裁剪,只保留检验假设所需要的部分。
为什么需要它
“人们好像会喜欢”不是假设。因为无论出什么结果,都可以硬说自己是对的。只有可能出错,才能检验。“自由职业设计师访客中,有 3% 以上会点击每月 9,900 韩元的预付”,这是可能出错的。
第二个陷阱是检验对象。如果先把第一个介绍页面发给创始人的新闻通讯和熟人,转化率就会很高。这些人点击的不是因为产品,而是因为相信创始人。把同一个页面展示给陌生人时得到的数字,才是市场的数字。
第三个是范围。把功能候选项按分数排序,容易做的就会排到上面。深色模式成本低、用的人多,但对检验预付假设毫无帮助。
工作原理
假设语句与标准。写出指标(预购率 = 预购 ÷ 访客)、基准值(例如 3%)、对象(陌生访客)。判定不是靠一个比率,而是靠区间——如果上一模块使用的 95% Wilson 区间的下限不低于基准,就是通过;如果上限低于基准,就是失败;如果基准落在区间内,就是待定(尚不清楚)。基准值 3% 是本实验的示例,实际上最好从单位经济(价格、CAC)反推来确定——这在定价模块中讲解。
如果待定,就增加样本。如果现在的比率不变,就可以计算访客要达到多少人,区间才会脱离基准。本实验使用一种简单的方法:让 n 从 1 开始增加,每次用 k = round(p·n) 重新计算区间。如果所需访客比现在多得多,也说明这个渠道作为检验手段太贵了。
把熟人受众另外看待。如果只看把渠道合在一起的一个数字,转化率高的熟人渠道会把平均值拉高,看起来像是“差一点就通过”。要把去掉熟人渠道、只含陌生渠道的判定单独做出来,并以那一边为准作决定。
用 RICE 裁剪范围,但先有假设。Intercom 的 RICE 文章(Sean McBride)把得分定为 (Reach × Impact × Confidence) ÷ Effort,并说明 Impact 用 3、2、1、0.5、0.25 的尺度,Confidence 用 100%、80%、50%,Effort 用人月(person-month)来衡量。本实验用一种贪心方法来裁剪范围:按得分降序,只放入预算(人月)之内放得下的。然后把结果与假设比对——如果得分很高却并不检验假设的功能(例如深色模式)进入了范围,那就是一个信号:决定范围的应当是假设,而不是得分表。
| 判断 | 依据 |
|---|---|
| 要不要做 | 陌生渠道的判定是否通过 |
| 要不要再检验 | 在待定的渠道中,所需追加访客最少的那个 |
| 做什么 | 检验假设的功能 → 在预算内按 RICE 顺序 |
烟雾测试的伦理。如果要对一个还不存在的产品收取预付款,在支付之后,必须明确告知“仍在准备中,将全额退款”这一事实,并真的退款。如果人们觉得被骗了,这个渠道下次就不能再用于检验,而且,信任几乎是早期产品拥有的唯一资产。也可以不用支付,而用“候补名单加价格确认”这样较弱的信号来检验,但要把信号相应较弱这一点,反映到判定标准中。
在现场相遇的样子
- 用发给 200 个熟人的介绍页面得到的预购率 7%,做出了融资材料,而通过广告进来的人只有 1% 左右。
- 在 MVP 里先放进登录、通知、设置页面,转眼过去了三个月,而支付按钮却还没有。
- 把待定的结果解读为“再多收集一点就会通过”。计算一下所需样本,就会发现是现在的好几倍。
如何发现自己做错了
- 先看各渠道的判定,确认合并后的判定有没有被某一个渠道的数字拖着走。如果合并的结果与去掉熟人受众的结果不同,就以后者作决定。
- 一旦想在看到结果之后去改基准值,就停下来。如果基准开始跟着结论走,那就不是检验,而是说服。
- 对进入 MVP 范围的每个功能,都问“没有这个功能,是否就无法检验假设”。如果回答“不是”的功能超过一半,就说明范围遵循的不是假设,而是得分表。
- 如果所需样本是现在访客的好几倍,与其在同一个渠道上等待,不如先看有没有能以更低成本收集样本的渠道。
下一项实验要做什么
你将根据四个渠道的烟雾测试结果,做出各渠道、整体和仅陌生渠道的判定,并计算待定的渠道还需要多少访客。用八个功能候选项的 RICE 得分,把范围裁剪到预算之内,最后用一页纸定下“要不要做、要不要再检验、做什么”。