“A/B测试的目的在于通过科学的试验设计、采样样本代表性、流量分割与小流量测试等方式来获得具有代表性的试验结论,并确信该结论在推广到全部流量可信。”热云数据增长顾问祁永辉在谈到A/B测的概念时说道。


 
 

#祁永辉


热云数据增长顾问。公众号:AB试验作者,擅长AB测试应用,长期主义者,成功服务过VIPKID,火花思维,上上签等众多企业。

 

 

营销实战丨热云数据祁永辉:如何开展一个A/B测试?

A/B测试驱动线上业务增长

 

A/B 测试是一种试验驱动线上业务增长(产品优化、运营优化等)的方法,为同一个优化目标制定两个以上的方案,让一部分用户使用A,同时另一部分用户使用B方案统计并对比不同方案的转化率、点击量、留存率等指标,以判断不同方案的优劣并进行决策。

 

营销实战丨热云数据祁永辉:如何开展一个A/B测试?

 

A/B测试本质上是个分离式组间试验,属于预测型结论,与“后验”的归纳性结论差别巨大。

 

A/B测试的目的在于通过科学的试验设计、采样样本代表性、流量分割与小流量测试等方式来获得具有代表性的试验结论,并确信该结论在推广到全部流量可信。

 

 

营销实战丨热云数据祁永辉:如何开展一个A/B测试?

为什么是A/B测试?

 

我们在做调查的时候发现,有不少公司会遇到一些问题:

 

第一是经验主义决策。依托过往经验判断我们当时的情况,就是现在的情况,这样往往判断有些偏差。

 

第二有来自很多非产品经理的需求。比如在常见的网页设计或者宣传的文案中,销售、老板、非相关部门经常会给一些反馈和改版的需求。

 

第三是会忽略细节的改变。刚才我在来之前,跟保利威的同学交流的时候,他们也有专门的团队做官网的迭代,其实就是在细节上的改变。

 

这里是我经常给我用户说的,引用雷军老师的话,不服跑个分,把分改成了A/B测试,并不是所有被你淘汰掉的需求和方案一定是最差的,在过往经验中被我们验证很多次的。

 

 

营销实战丨热云数据祁永辉:如何开展一个A/B测试?

如何开展一个A/B测试?

数据+目标+假设

+假设

第一,收集数据。得知道官网大概的情况,或者页面的情况;

 

第二,要有一个对应的目标。比如尝试去做一些关于跳出率的优化,减少他的跳出率;

 

第三,提出假设。通过网页的迭代和改版,以及文案的修改或者图片的修改,或者一些流程的修改,来得到相应的结果,在测试这个假设,往后进行结果的分析和得出相应的结论,其实这就是一个增长的闭环。

 

相信大家很多企业都在做这件事情,我们把闭环都做起来之后,我们可以持续做一些增长。

 

下面分享一个墨迹天气的案例,昨天大家经历过在北京下泥雨,墨迹天气当时做了一个很有意思的尝试,尝试了不同的分享按钮,上面的分享按钮,在安卓版本有些不同的区别。

 

他们的目标是想关注分享的转化率,假设就是我尝试了不同的分享按钮,他的分享转化能不能有一定提升。

 

我们来看一下数据,结果会发现我们第三个版本,长的跟屏幕分享很像的按钮,分享的点击率提升了18%,我只是做了一个ICON的变化,非常细节的东西,就能有很大的提升,这个就是我们通过A/B测试能得到的常见结果。

 

营销实战丨热云数据祁永辉:如何开展一个A/B测试?

 

 

营销实战丨热云数据祁永辉:如何开展一个A/B测试?

如何科学的优化页面?

使用LIFT模型

 

如何科学的找到B版,你也可以理解为如何科学的去优化你的页面。

 

营销实战丨热云数据祁永辉:如何开展一个A/B测试?

 

第一件事情,要达成一个共识,可以去问问设计师,在定任何一个方案稿之前,他还有几个稿子,不管你的网站也好,还是出的图也好,一定会有非常多的版本,这是第一件;

 

第二,我们去翻一翻之前老的版本,它一定就不好吗?这是一个灵魂深处的问题。我们在去尝试迭代的时候,这些都可以作为一个B版;

 

第三,我们在团队中一定存在着不同的看法的,不是所有人看法都一样;

 

第四,来自于非产品经理的需求。比如老板的个人喜好,以及销售部同学反馈出来的结果,这时候我们发现他们就是很好的B版来源,不服跑个分。

 

讲一个简单的模型LIFT,中文名叫测试着陆页影响函数。

 

这是一架小飞机,核心主体叫价值主张,同时相关性和信息度的提升有助于提升升力,注意力和焦虑感的下降,也有助于减负,飞机飞的更快,紧急度是火药,催着它往前走。

 

营销实战丨热云数据祁永辉:如何开展一个A/B测试?

 

有一个公式,做一件事情的动力=感知到的好处-感知的成本。做某件事情如果好处大于成本,肯定有动力,如果差值越高,动力越大。可以尝试用一些积分,免费试用吸引用户,大家应该都有在用。

 

LIFT模型的应用主要有价值主张、相关性、清晰度、焦虑感、注意力分散和紧迫性等等。

 

价值主张优化:我们做实操的时候,可以尝试多个指标来关注我们真实的方案,就可以用不同指标来辅助,看一些核心指标,以及辅助指标怎么变化,能不能验证你的猜想,这就是A/B测试的核心。

 

相关性优化:广告信息传递的价值与着陆页产品的介绍是有强相关性的,这个着陆页前面可能有你的广告,也可能有朋友圈的文案,有可能有各种各样文案,这些是有强相关性的,并且要跟人相关,你的受众相关,能带来一些转化提升。

 

营销实战丨热云数据祁永辉:如何开展一个A/B测试?

 

清晰度优化:很多企业的着陆页也好,或者方案也好,大而全,特别大,特别全,但是会发现有的时候并不能清晰的表述出来本身的价值,你的受众不能清晰了解到这件事情在干吗,所以清晰度是非常重要的一点。

 

焦虑感:在招聘场景中,招聘市场专员、销售等等一些普通的职位,公司会在招聘文案上加一段“工资保障”,发现数据也很有意思,所有模块的点击提升了17%,同时转化人数提升了6%。

 

营销实战丨热云数据祁永辉:如何开展一个A/B测试?

 

注意力分散的优化:我们会有在朋友圈个人私域流量的宣传和推广,会有很多转化环节,不希望分散他的任何注意力,这时候我们去掉多余的元素,扫码的转化率提升了7%。

 

紧迫性优化:如果大家有订酒店或者用过携程,会提示一点:有多少人正在浏览该房间。跟这个道理一样,比如可以写“免费门票仅剩186张”,也是要给用户一个紧张感,让他快速下单。

 

我们做产品优化的时候,可以通过这些点,去找到你真正的优化方向,以及你的版本。有了这些方向之后,我们再用A/B测试的能力,用这样的方法、工具做一些尝试。

 

 

 

营销实战丨热云数据祁永辉:如何开展一个A/B测试?