WAW年度大会嘉宾专访—吆喝科技CEO及创始人王晔

2016年7月9日,WAW网站分析星期三2016年度最重要大会“数据驱动的未来”将于上海新落成的万科虹桥云举办。网易、小米、携程、一号店、虎扑、饿了么、车享网等互联网大中型企业负责云计算、产品设计、精准营销、大数据和人工智能的专家将汇聚一堂,分享工作中总结的实战经验及对今后三到五年数据产业的趋势判断。

今天,我们就邀请吆喝科技CEO及创始人王晔和我们聊聊那些我们知道和不知道的A/B test。

嘉宾介绍:
王晔  吆喝科技CEO及创始人

吆喝科技CEO及创始人王晔
清华和耶鲁校友,曾在Google美国总部负责广告产品的创新和研发,对AB测试系统、大规模复杂系统、数据挖掘和分析、互联网基础架构有深入研究,曾发表过多篇计算机科学论文,拥有多项国际专利。

1.能结合公司业务简单谈谈对数据驱动的理解么?数据驱动的除了ab test外常用方法有哪些?
我最喜欢的是DataStax公司CEO Bosworth的一句话:“从现在开始的10年内,当我们回顾大数据时代是如何发展时,我们会震惊于以往做出决策时信息的匮乏。”
数据驱动的理念在于企业应该充分的用数据方法来优化自己的产品,运营,决策,乃至战略。
具体来说,数据的使用方法可以分为后验和先验两类。很多数据统计工具都是后验,就是指对过往采集到的数据进行挖掘分析,从中发现和归纳新的知识,透过现象看本质。

后验数据对企业决策很有用,而我个人觉得先验数据对企业决策可能更有用。
什么是先验数据?在一个决策完全实施以前就能得出它实施后的效果数据,这就是先验数据。在传统中国文化里,我们往往更善于后验数据,通过总结和归纳得出重要的结论。而现代西方文化更讲究“科学”,找到了先验数据的获取方法,那就是做“试验”。设定一个合理的小型的试验环境,然后将决策想法在这个环境中实施,得出数据化的结论,最终通过数学方法预测出这个决策想法在真实环境中的表现,这就是先验的方法。最典型的先验方法就是AB测试。

2.其实很多企业也在用ab test作为优化产品及自身业务的方式。你能谈谈你看到过的一些错误的对于ab test的理解和运用方法吗?
(1)以为只有试验结果提升才等于成功:
有些人认为只有当试验版本的数据优于原有版本时,试验才算成功。然而,A/B测试是用于选择最佳版本的工具。试验可能出现的结果大致为三种:试验版本有提升、无明显差异、试验版本的表现比原有版本糟糕。这三种结果其实都说明了试验的成功,试验版本有提升说明试验版本是最佳的,无明显差异说明两个版本均可,而试验版本表现较差则说明原有版本最优。

(2)随机选取用户参与试验:
想要测试新版本的点击率变化情况,但是选取的小流量刚好圈中的是一些特别爱点击的用户;或者做一个新产品后,在自己公司内部做试验,得出活跃度很高的结论,正式上线之后却发现用户不买账。类似这样试验流量不具有代表性的问题将会导致A/B测试结果不准确,当新版本上线时反而可能会造成更多流失。

(3)一次性改变多个变量进行试验:
有时候产品和策略可能比较复杂,在同一个页面修改了许多元素。测试之后,整体试验结果可能是上升的,但是发现每个地方都产生了不同的效果,有的点击率提升了,有的注册率下降了,综合起来很难衡量实际的结果,不确定究竟是哪个元素的改变起到了关键性作用。为了得到明确答案,AppAdhocA/B Testing建议您进行多次试验,每次只对一个元素的改变作对比。

(4)让用户自主选择版本:
不少企业会在新版的页面上留下返回老版本的入口,让用户自主选择使用哪一版,通过收集返回按钮的点击率来判断最佳版本。但该思路不利于统计分析用户在新版的行为数据,因为用户离开新版本可能单纯是因为习惯使用老版本,而不是认为新版本的体验不好,最终导致了试验结果的不准确。

3.结合你们的产品,谈谈你觉得一个ab test相对科学的流程和使用方法
(1)收集数据:根据用户行为数据,找到短板。
(2)提出目标:基于提升需求,明确目标。
(3)建立假设:推测可能影响目标的元素,针对性的提出改进建议。
(4)接入SDK:接入AppAdhoc A/B Testing的SDK。
(5)创建试验版本:将原版作为A版本,改变后的版本作为B版本,同时设置监控数据。
(6)设置变量、优化指标:将关键业务数据的衡量计数设置为优化指标,进行跟踪并对比。
(7)调节试验流量:我们提倡先从小流量入手,逐渐增大流量分配。
(8)运行试验:确定每个版本的流量大小,正式运行试验。
(9)分析数据,得出结论:关注监控数据,对比不同版本的用户数据表现,得出结论。
(10)发布最优版本:根据结论,发布测试后的最佳版本。

4.目前在使用A/B测试的互联网产品有很多,能结合一个具体的产品,来讲讲A/B测试的大致工作方法么?
AB测试参与的产品迭代流程:
产品设计(AB测试方案设计)——>开发(AppAdhocSDK集成)——>测试验收——>上线

很多人以为,引入A/B测试就是在产品迭代的过程中增加独立的A/B 测试环节。事实上,A/B 测试参与的产品迭代流程并不复杂:只需在产品设计时,同步考虑到A/B 测试的优化方案,并在开发过程中将对应的SDK集成到代码中即可。

以吆喝科技的客户墨迹天气为例,首先是产品部门提出需求,即他们希望新版本可以带来栏目点击率、转化率以及用户留存方面的提升。根据需求他们提出了三套优化方案,用来验证哪一个版本效果更好,并用过数据来做出产品的关键决策。接下来,开发人员将AppAdhocSDK集成在产品中,并设置变量、优化指标和调节试验流量,最后通过运行一段时间的试验,来监测数据。最后将表现最佳的版本发布上线。

5.能通过自己产品的使用数据和我们展望一下吆喝科技的发展么?另外,在您的考虑当中,您觉得数据行业会如何发展?
吆喝科技目前已服务400多家企业用户,月独立设备覆盖超过1亿次。
我们的重点是对AppAdhoc A/B Testing优化引擎的不断改进,包括:建设更加强健的后端集群,实现支持日活数十亿用户;更加详尽的数据对比分析功能;通过机器学习给客户提供自动优化的建议;针对不同用户群体的定向用户体验功能。

另外针对非深度开发者的移动营销人员,我们推出了一个所见即所得的HTML5营销页面优化平台,可以方便营销人员不做代码改动就实现各种各样的A/B测试,不断优化移动营销的效果。

此外,未来我们会和合作企业一起,深耕移动广告产品的优化,创造出用户喜爱的新广告形式,造福广大手机用户,同时提高移动App的流量变现价值。

我相信数据行业还会继续蓬勃发展,并且给人类生活带来很大的影响。

王晔先生将参加我们7月9号的大会,带来分享话题《AB测试的基本原理与背后理念》

什么是AB测试

为什么要用AB测试验证增长册策略

AB测试正确使用方法