智能优化&AB测试-实验驱动用户增长@QCon10 PPT分享

这次在“用户增长”Session做了一个分享,标题是“智能优化 & A/B 测试 – 实验驱动用户增长的理论与技术实践”,对过去几年AB测试、用户增长的工作做了一次系统分享,希望对大家有用:)

PPT下载链接: https://pan.baidu.com/s/1be1xThcjkSz8tHMMwVnVPQ 提取码: 5fyu

演讲:智能优化 & A/B 测试 – 实验驱动用户增长的理论与技术实践

在流量红利日渐消逝的今天,如何用科学的实验方法来有效地实现用户增长,正受到越来越多的关注。A/B 测试在头条、抖音、快手等现象级应用的增长过程中发挥了极其重要的作用,增长黑客之父 Sean Ellis 更是对 Test Driven Growth(实验驱动增长)推崇备至。本次分享将介绍如何搭建 A/B 测试驱动用户增长的科学运营体系,A/B 测试在亿级 App 产品中的实战增长案例,以及亿级智能优化 & A/B 测试系统的机器学习和大数据技术实践。

听众收益

  1. A/B 测试如何助力用户增长?
  2. 如何在团队中有效推进A/B测试?
  3. A/B 测试实际案例分享;
  4. 基于强化学习和 Druid 的智能优化 & A/B 测试系统技术实践。

专题演讲嘉宾:陈冠诚

Testin 云测CTO

陈冠诚,Testin 云测 CTO,原 IBM 研究院高级科学家。师从欧洲科学院院士 Per Stenstrom 教授,在 Supercomputing,IEEE BigData 等顶级会议上发表过 6 篇大数据机器学习相关论文,拥有 8 项国际专利。10 年大数据产品技术经验。曾为众多企业搭建了智能优化 & A/B 测试驱动产品优化的数据体系。国内最大的 Druid 开源大数据技术社区发起人。在 Testin 云测负责与应用相关的测试、安全、推广、产品优化,流量变现及 AI 大数据解决方案产品技术研发,服务了全球超百万的开发者和企业。

PS. 今年是QCon 10周年,mark下。

增长二三事

最近对增长有了一些新的思考,正好又听了Hola Group Growth负责人Daisy的一次分享,把一些心得体会汇总记录一下。

  1. 获客成本越低越好?不尽然。只要想获得更多客户,CAC一定越来越高。画一个图:X轴是拉新量级,Y轴单个客户CAC,这个曲线一定是45度往上走。
  2. 产品的用户是分圈层的,最核心的圈层是铁杆粉丝,CAC最低,需求最强,次核心圈层是中需求群体,CAC次低,以此类推。
  3. 增长公式:MAX[(LTV – CAC) * N],N是客户数。对于不同圈层用户,LTV,CAC还有N都是不相同的,而产品本身的PMF也可能在发生变化。例如抖音经历过从垂类泛化的过程,它的“算法+商业化+增长/内容运营”组成的增长飞轮,使得他清楚对每类用户的PMF,以及算清楚每类圈层每个客户的LTV、CAC还有N,只要ROI他们能接受,就可以开始全渠道买量。商业化做得好真是任性。
  4. 客户越多,CAC越高,那么努力还有没有用?有用。像压弹簧一样,努力到位了,能最大限度降低各个圈层用户的CAC,例如裂变做得好,CAC在同一圈层里就是更低。广告转化率优化的好,CAC就是更低。不努力,CAC肯定越来越高。
  5. 流量有季节性影响:节日,周末,季节性,双11,春节等等都是影响因子。
  6. 都说留存最重要,而留存不好,可能不仅仅是产品不好,还可能是某渠道来的用户与产品不匹配,也可能是做了某些活动造成短期留存高但是长期留存没变化。抖音极强的一点是把Musica.ly在国内用户中曾经碰到的长留存低问题解决了,且跨越用户圈层之后留存能继续保持,也就是成功从垂类产品扩展到全民产品。千人千面的极致就是所有圈层的人都有高留存。
  7. 流量有红利属性且载体在不断变化。例如App、微博、微信、公众号、FB、朋友圈、小程序、信息流、快手、抖音,还有线下的共享充电宝,共享单车,实体物品的二维码,免费体重秤等一波波红利。而且现在流量渠道的变化越来越快,要能敏锐的捕捉到流量红利,提前布局。这就需要对新的流量媒体敏感,对人性敏感。
  8. 应用流量的价值,有两个维度:X轴是用户的交互程度,也就是停留时间,Y轴是支付金额。光看停留时间是不够的。
  9. PMF + MAX[(LTV-CAC)*N] 是王道。话说很多产品PMF做得好的,很多都是做游戏出身,对“上瘾”,人性更了解,当然也被很多人“诟病”,例如拼多多。抖音本质上也是一个游戏,一个“舞台”类游戏。
  10. 有一个很有名的App分类图,X轴是App 90天留存,Y轴是用户每周使用频率。第一象限的就是通信社交App,高频高留存。第四象限是天气App,留存高但是频率低。要清楚自己在哪个象限。

两个平行世界

一个是虚拟世界,一个是物理世界。

PC时代,两个世界间的通道,大部分是PC机。

移动互联网时代,两个世界间的通道,大部分是手机。

IOT时代,两个世界间的通道,IOT的比例会越来越高,手机和PC的占比会越来越低。想象一下,衣食住行,各个能接触的设备,都是IOT。

通道越来越多,意味着两个平行世界之间的联系越来越紧密。

2G,3G,4G,5G,新的技术不停促进通道变得更多、连接变得更快。

不同类型通道的通道载体一直在变化,而变化,就是新机会的源泉。

ps. 现在互联网人喜欢去做智能制造了:造车,造卫星,造火箭,造鞋,造船。本质上,是把IT驱动的运营能力嵌入到制造业中去,用更高效率满足消费者的需求。