从污水池进入下水道:A/B测试陷阱

local-minimum-global-maximum.jpg

你的A/B测试本应该在下水道里,却被困在了粪坑里

你真的关心为什么A/B测试类似于无用的液体吗?还没有,所以我最好开门见山。

后院的水池。jpg

在奥斯汀很少下雨的时候,我们的后院会有这些深水坑。当然,如果水流入街道和下水道会更好,但这不是重力的工作原理。

水“寻找”院子里的最低点,但它是狭隘的。它不会调查环境,找到最低的区域,然后朝那里走。相反,在路径上的每一点上,它都选择最小的方向在附近.水并不“知道”,如果它努力跳过栅栏,它可能会下降得更低,就像在下水道里一样。

用数学术语来说,水并不是“全局优化”的最低的点,而是在每一步“局部优化”。如果你享受陈词滥调水不见林,不见树。

也许你的A/B测试也是只见树木不见森林。

典型的A/B测试是这样的:从基线开始,然后进行更改。也许标题从“酸奶油让你沮丧?”到“不知道酸奶油什么时候会变质?”你测试了一段时间,其中一个胜出,然后你尝试另一个变体:“这个酸奶油是好还是坏?”

以此类推,慢慢前进不断的改进.这里一点,那里一点,然后——你相信——很快就会变成真正的钱。

但是,通常情况下它并没有。

通常的情况是,你会到达一个点,小的改变没有任何作用。这种效果很难识别,这就是为什么你需要(可怕!)用数学来做经验判断是否真的发生了什么。

在这一点上,你可能会想放弃,但这也是错误的。

所发生的事情是,你发现了数学家所说的“局部极小值”和我刚才所说的“粪坑”(而更有品味的作家称之为“粪坑”)。分水岭)你的测试就像后院的水——你已经流到了最低点,但你仍然在后院!

完全改变你的视角、你的信息、你的布局、你的价值主张、你的颜色或你的目标受众,可能会显示出一个全新的、不连续的、非增量的变化。真正的乐趣是在下水道里;你得跳过后院的栅栏。

事实上,因为观察全新的地方可能产生的结果比渐进式改进多得多,你需要从一开始就寻找不连续的结果

最好的办法是两者都做:而不是仅仅运行A对增量变更A2因此,你在获得增量改进的直接好处的同时,也在寻找能够从根本上提高收益的东西。

如果完全不同的信息能让你得到更好的结果,那就更好了所有你的信息应该相应地改变。也许你应该改变对市场需求的看法。也许你的整个公司会变得更好。

当你可以玩转新想法和新身份时,为什么要伴随着微小的变化便便呢?

玩!

你在考试中使用什么策略?请留言评论加入对话。

对“从粪坑进入下水道:A/B测试陷阱”的27个回答

  1. 杰森,不幸的是,这次我完全不同意你写的任何东西。你的论点很弱,你的“典型的A/B测试是这样的”这句话很好地说明了这一点。

    A/B测试是一种方法,而不是一种能够提高转化率的思考方式。你在这篇文章中批评的是一种意识形态,即小的改变可以产生大的影响。我看不出这和A/B测试有什么关系。是什么阻止你对大型设计更改进行A/B测试?例如,看看这个案例研究,他们测试了一个完全不同的设计,并设法增加了20%的销售额http://visualwebsiteoptimizer.com/split-testing-blog/how-aquasoft-increased-their-sales-by-20-doing-ab-split-tests-in-multiple-phases/

    事实上,如果你能写出我所认为的使用A/B测试的最佳方法,那就更好了:做大量小的测试去寻找局部极大值,然后偶尔做一些彻底的测试去看看你是否能够接近全局极大值。我认为这值得专门写一篇博文。

    但无论如何,我认为你的文章是对过度依赖小改动的批评(我同意这一点),而不是对a /B测试的批评。事实上,你的文章与A/B测试没有任何关系。

    • 我想你还没看完这篇文章!

      你的建议是——用小的变化和大的变化进行测试,总是使用A/B/C测试方法完全我提出的解决方案!

  2. 所以比起简单的A/B,你建议采用A/B/C, Z,然后为每个字母添加一些“数值”变化(微增强)。你必须在某个地方设置界限,否则你就会迷失在无法扩展的分析恐惧中。
    此外,你知道有什么分析工具可以提供如此复杂的可读和有用的报告吗?

    • 不,我不建议测试A. Z。事实上,我的上一篇文章解释了为什么这个想法是糟糕的。

      相反,我明确地建议你们测试A和小调A2,以及更激进的b,这就是结束的地方。

      (除非你有大量的流量,否则你不能测试更多的数据,并期望统计显著的结果。)

  3. 好文章!总的来说,我同意你所说的。

    我认为查看你的来源(给你带来流量的地方)也非常重要。

    假设你正在进行A/B测试,你已经达到了局部最大值。尝试一个激进的新C运动可能是有用的,但查看来源和他们是如何转换的也同样有用。

    你可能会注意到,来源X的人的转化率一般高出30%。如果我看到了这一点,我便会尝试着去理解来源X带给我的人的类型。然后我将尝试从源X获得更多流量,并将我的副本瞄准这些用户。

    格雷格

  4. 我喜欢你建议的A1 A2 B方法。在我的工作中,我很少参与A/B测试,但我在做商业计划时总是考虑以下三个选项:

    1.战术选择-专注于已建立的核心业务线
    2.机会主义的选择-利用机会出现
    3.战略——未来三年核心业务的构成将如何变化

    我发现这个框架在短期和长期规划方面非常有用。

  5. 原则上,这听起来很合理。然而,让品牌经理做一些“激进”的事情通常是不可能的。考虑到这一点,从小的胜利中吸取教训,并在此基础上继续努力。

  6. 如果能根据具体情况对这个主题进行扩展和深入探讨,我认为这将定义a /B测试的方法。

    1.人们没有访问我们的网站,或者我们想带来更多的访问者

    2.人们没有订阅,或者我们想要更多订阅

    3.我们想在我们的系统中改变' Scheduler '的UI,因为我们认为它现在还不完美。

    正如你所看到的,从根本上改变第3点的UI没有任何意义。你可以在“最低的地狱的最低的底部”找到你的生意,而下水道将成为从那里回来的最甜蜜的地方。在第一点部分。这是对第二点的好方法。

    1 -你可以同时做A和B,因为你可以追踪什么给你带来更多的访问者-你的博客或不同的AdWords或广告措辞。2 -最好只有一个版本的网站,看看哪个措辞和导航推动用户订阅页面,并实际获得订阅。
    -= Igor Kryltsov的最新博客:维基百科的创业营销= -。

  7. 杰森,谢谢你的文章,很长一段时间以来(用互联网术语来说)你一直是我灵感的来源。
    无论如何,我的评论的关键。
    我目前正在做A/B测试的一些市场测试,我想知道你(和你的读者)对A/B测试框架的当前状态有什么看法,你希望看到什么改进。
    考虑到这一点,我建立了一个非常简短的“调查猴子”调查(参见http://www.surveymonkey.com/s/DDMFS5T

    谢谢,继续伟大的工作

注册后每月可收到1-2篇文章:

Baidu
map