解决A/B测试的局限性问题

上面的例子是产品内的A/B测试，事实上，A/B测试作为一种方法论，在增长的方方面面都有所应用，如：①付费广告A/B测试；②应用商店A/B测试；③着陆页A/B测试；④新用户引导流程A/B测试；⑤产品功能A/B测试；⑥邮件A/B测试；⑦移动推送A/B测试；⑧应用内信息A/B测试。

A/B测试的优势有如下几点：

1）量化结果：A/B测试将实验组和对照组进行比较，所以你可以清晰地看到某个改变带来的影响是多少；

2）限制负面影响：你可以通过A/B测试来衡量一个简易的产品功能原型，如果它失败了，就避免了你投入大量的时间来开发这个功能；你也可以只把某个改动发布给一小部分用户观察结果，从而限制可能的负面影响；

3）学习：因为你每次只改变一个变量，所以你可以清晰地知道什么因素导致了结果变好或变差，从而加强你对产品、用户和渠道等的认识；

4）文化：A/B测试可以帮助改善HIPPO（Highest paid person opinion，最高工资人意见）问题，或者与产品或市场经理之间有分歧的情况，每个人的意见都只是意见，而通过测试可以实实在在地看到结果。(www.xing528.com)

A/B测试也有其不可避免的局限：

1）A/B测试虽然可以帮助公司形成战略或愿景，但它本身并不是一个战略方向；

2）开发测试比直接上线功能或创意浪费人力和时间；

3）如果测试意在改善的指标是错误的，比如把利润放在用户参与度之上，可能反而损害了增长；

4）A/B测试更适合优化设计，但是一般很难通过A/B测试开发出全新的设计，所以它会面临局部最大化的问题。