剑客
关注科技互联网

Ronny Kohavi:网站A/B测试测试七大准则

Ronny Kohavi:网站A/B测试测试七大准则

Ronny Kohavi 曾任职于Bing 和 Amazon 等知名网站。现在越来越多的网站开始个性化,不过却很少有人能像他一样了解网站测试的内在机制,他之前在微软担任软件服务分析实验团队总经理,在更早之前则是亚马逊的信息挖掘团队的负责人。

Kohavi 和他的同事 Alex Deng 、Roger Longbotham 以及Ya Xu 在 KDD 研讨会上发表了一篇论文,记录了他们在网站测试上的七个准则,而这些准则来自于作者们过去在 Bing 、 LinkedIn 、 Booking .com 以及其他公司所获得的经验。

网站实验(Website experimenting) ,指的是测试网站上的一些小的改变,帮助网站所属的组织可以做出更好的决策。尽管像 Facebook 这样的网站测试结果通常不太如意(新版表现得比旧版还糟,以至于改版取消), Kohavi 认为用户测试仍然是确认任何网站所做的改变是否做对了的最有效率方式。他相信在推出一个网站改版之前,先用一小群抽样的使用者来测试会比较好,否则如果那个改变并不受欢迎,就等于冒险一下子让所有的使用者都获得不好的用户体验。

以下就是 Kohavi 与他的团队所揭露的七条网站测试准则:

1. 小小的改变就可以对关键指标有所冲击。

Kohavi 说:「在软件领域,发布的时候有 bugs 是很正常的。对我们来说,常常发现我们认为很小的改变,但因为有一个Bug,实际上却造成很大的负面影响。」举例来说,有一次 Kohavi 对 JavaScript 的代码做了一点改变,并且用了10% 的人来做测试,结果当使用 IE 7 的时候,却无法点击任何一个连结,那是一个非常糟糕的体验。

但是好的改变也有, Kohavi 举了他们在2004 年对 Amazon 所做的小改变就是把信用卡的优惠从首页移到付款页,并且加上文字描述,告诉消费者如果用 Amazon 的信用卡登入的话,可以省下多少钱。因为这个改变,每年多赚了好几千万美元。

2. 改变很少能对关键指标有巨大的正面冲击。

微软的团队说,任何一个网站的测试,想要产生巨大的冲击几乎是不存在的。但是,小型的改变可以逐渐被累加起来。像是 Bing 搜寻引擎就是日复一日的小幅调整所完成的。

3. 每个人的里程数不同。

在网站测试上,很重要的一个观念就是,在一个网站上很管用的一招,用在另一个网站未必有效。要注意的是,测试的结果并非总是可信的,因为人们偶而会出现欺瞒的举动。

4. 速度很重要。

速度其实比什么都重要,用户会在意他们所访问网站的速度。 Kohavi 说:「我们在 Bing 做过一次减速测试,那时候我们让使用者的访问速度以很轻微的比例减慢,看看这会对我们的关键指标造成什么影响?我们大概只减缓了 100 到 200 豪秒,而造成的影响却非常的巨大。以 Bing 为例,每加速 100 微秒,就可以增加 0.6 % 的收入。」

5. 减少用户放弃的行为是很难的,但是让使用者改变点击是简单的。

要说明这个现象有点复杂,不过大致上来说,如果你要用户在一个网页上多点几下,是很困难的事情,但是如果你要用户点击同一个页面上不同的地方,就简单多了。Kohavi 举例,当 Bing 移除了超过一千万个用户搜索引擎右侧的相关搜索,经过实验,页面的点击数量却几乎一模一样。用户下意识地把原本右侧相关搜寻的点击散布到页面其他的地方去。

6. 避免复杂的设计。

Kohavi 和他的同事们坚信,对于网站测试来说,越简单越好。他说最好的测试就是只有A/B。不管是A/B/C或A/B/C/D甚至更复杂的测试,对于组织来说都没有显著的效果。其中一个例子就是他们在 2013 年帮 LinkedIn 测试搜索引擎的更换,有多重因子的复杂测试,让他们在试图找到搜索引擎上有没有什么是用户讨厌的功能时,遇到了很大的困难。最后只能简化测试,才能找到 LinkedIn 新的搜索引擎有哪些功能会让使用者失望。

7. 要有足够的样本量。

这一个准则也是最难的一个。如果没有足够的样本量,就几乎不可能得到准确的结果,然而到底要多少样本用户才够?则取决于要测试的因子有多少。

本文编译自:www.inside.com.tw/2016/05/09/website-experimenting

吆喝科技 :国内唯一同时支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java 等) A/B 测试 服务的专业 SaaS 平台。支持线上灰度发布、多维度数据统计分析、科学的流量分配系统、一键发布新版本无需应用市场审核、定向测试。

用数据帮助用户优化产品,提升转化、留存和你想要的一切。 AppAdhoc 用数据验证最佳方案,提高产品设计、研发、运营和营销效率,降低产品决策风险。

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址