我们已经飞行了四个小时,但两个油表仍然显示“满”。我不需要飞行员执照就能知道这是不可能的,也不需要在想到发动机发出可怕的轰鸣声,安静地死去,螺旋桨叶片旋转着,我们尖叫着“mayday mayday”,“把它放在那里”,就像电影里那样,希望包括英雄们自信地迈着步离开,而残骸被点燃成火球的那部分。在他们令人振奋的生活中,这是如此平庸的一件事,以至于他们甚至不愿回头看一眼那场大屠杀。
“嗯,这不可能。”我对真正的飞行员格里说。“是的,”他说,“针会卡在玻璃上。”他轻弹玻璃。针没有动。“那么……我们有足够的汽油吗?”“是的,我们还有一个小时,在我们离开之前我把油箱加满了。”
“粘”的意思是用管道将一个木榫穿过机翼顶部,插入油箱,通过产生的湿度来判断气体的水平。有时候最简单的技术就是最好的。木棒不会没电,也不会让你等47分钟才能进行安全升级。
信任,但要核实”。罗纳德·里根,重复俄罗斯谚语:押韵Доверяй,нопроверяй
甚至“每样东西都要两份”都不够好。如果这两样东西都依赖于电,如果停电了,你两样都失去了。有两个气体表;两者失败的原因是一样的。它也需要以不同的方式实现,就像棍子和量规。例如,有一个普通的磁球罗盘漂浮在液体中,即使其他电源失效,它也能正常工作,但它很难读取,因为它会在振动中反弹,所以最好有另一个依靠吸力(机舱内外的空气压差)运行的罗盘,即使你在湍流中转向飞机,它也很稳定。
格里过去常说:“谁是撒谎吗?”通常你的手段是正确的,但有时有人在说谎。可能是吸吸系统坏了,所以你要仔细检查吸吸和电吸表盘。你插入油箱,以防油表不准确。
同样的教训也适用于我们日常的数据和度量。你认为你理解了每个数字的意思,通常你是正确的。但有时你没油了却没有意识到。我曾见过这种情况发生的原因有很多:电子表格的公式中有一个微妙的错误,分析javascript代码意外地遗漏了一页,调查邮件没有发送给队列中的所有客户,数据库查询没有过滤重要内容,夜间更新脚本已经三个月没有运行了。
检查错误数据的一个好方法是复制飞机仪表盘方法,用两种不同的方法获得相同的信息。计费系统的收入与银行对账单的现金流比较。(有一次我发现我们的信用卡处理器拖延了现金收据的时间。)来自Stripe和您的用户门户的活跃客户数量。(因为有时一个系统中的取消操作在另一个系统中无法取消。)来自谷歌Analytics的网络流量,还有另一个分析系统,或者你的原始网络日志。(如果你使用5种网络分析工具,它们会给你不同的数据;这可以这是因为“访问”和“会话”的定义不同,但这真的是全部吗?)
除了偏执狂,我还发现对同一数据进行两次计算的另一个好处:更好地理解数据背后的力量,从而更好地分析公司的运营方式和市场的变化。考虑网络流量。有分析可以告诉你流量的来源(并不完美,特别是在最新的浏览器和扩展有意地模糊或屏蔽数据的情况下),关于你的广告点击率的数据,你自己的原始web服务器日志,以及广泛的行业数据(例如谷歌趋势如何改变你的关键词搜索流量)。它们都讲述了一个不同的故事。谁也不了解全貌;都是有偏见的。但综合起来看,你对世界的看法更加完整,偏见可能会通过平均或只关注最清晰、最一致的趋势来消除。如果四个不同的来源一致认为一种趋势正在发生,那么它肯定正在发生。
如果一个指标非常重要,需要每天观察它,并在其行为偏离预期时采取行动,那么它就非常重要,需要反复检查。既为了准确性,也为了理解的完整性。
如果你的仪表盘不是多余的,你永远不会知道……谁在撒谎?