我如何在混乱的数据中找到洞察力和直觉

软件产品研究中的认知捷径

“数字具有许多魅力,而低俗的眼睛看不到这些魅力,只有那些疲惫而又受人尊敬的Art儿子才能发现它们。 这种沉思可能会带来甜蜜的喜悦。”

–查尔斯·巴贝奇(Charles Babbage)约1825年,追忆法国数学家埃利·德·乔科特(Éliede Joncourt)的情感,约1735年

在2011年,我与一位朋友谈论了我们软件公司最近在通过优化我们的在线业务利润来规划课程方面的挑战。 尽管他显然陷入了棘手的分析难题中,但由于某些非分析性原因,我充满了良好的共鸣。

首先,我很高兴我们的团队达到了人员配备水平,能够对困难的问题进行研究,这些问题对于我们产品的持续增长和领导地位至关重要。 研究是“全都是曲折的迷宫。”错误和死胡同是这一过程的必要部分。 当我们穿越这个迷宫时,撞入几堵墙将使寻找出口变得更加令人愉快!

其次,它给了我机会来思考他的思想。 在寻找复杂的,分析密集型问题的解决方案时,期望最终获得利润最大化的解决方案是可以理解的。 但是,正如正式定义的那样,最佳解决方案是棘手的,因为它们必须是所有可能解决方案中最好的 。 鉴于系统的复杂性和我们必须利用市场地位的时间有限,这是一项艰巨的任务,也是一项艰巨的任务。 通过放宽我们的目标,我们可以寻求“调整”而不是“优化”。我们应该高度依赖数据和分析,但也要通过直觉为洞见做准备。 这使我在周末更多地思考了解决棘手问题时分析与启发式方法之间的关系。

通常是系统的复杂性加上人类的智力和创造力限制,导致无法完全理解我们面临的问题。 同样,我们对软件问题或其解决方案的全部范围和副作用的预测可能会受到限制。 紧密耦合的系统在最佳情况下几乎是难以理解的,而在失败时,我们因缺乏经验和视角来了解其无数原因和结果而感到困惑。 一般而言,我们会意识到自己的局限性,因此会部署分层防御:嗅探器,警报,仪表,可视仪表盘,自动调速器,切断阀和分流器。 本质上,这些设备是整个系统的简化,并且必然是不完美的抽象。 正如我们所发现的,即使这些防御措施也不完美,并且需要其他复杂的过程和系统。 在我们梦想找到解决方案之前,我们常常不得不“调试我们的调试器”! 面对智力挑战时,同样的挑战也会蔓延。 首先,我们必须了解解决问题的框架。

毫不奇怪,组织理论家和认知心理学家对人类对海量数据集的理解,挑战性问题和复杂系统的局限性进行了大量研究。 更明显的是,他们在创建解决问题的框架时彼此不同意。 啊,辩论的坩埚!

让我们从组织理论家开始。 看看正常事故:与高风险技术共存 由耶鲁大学名誉教授Charles Perrow撰写。 Perrow致力于研究复杂系统中的故障。 他研究了涉及核电站故障,经济市场灾难,恐怖袭击和技术系统崩溃的组织和系统。 他得出的结论是,其中许多情况都是“正常事故”,在紧密耦合的系统中,一系列非常简单的错误不断层叠,逐渐失控。 他得出结论,毫不奇怪,我们比事后预测更能理解事后的失败。 爬行的确定性再次抬头! 然而,也许由于主题的严肃性,Perrow不信任启发式方法。 他是一个完全法医的,数字运算的存在。 全脑无心!

进入认知心理学家! 赫伯特·西蒙(Herbert Simon)是启发式决策之父,并于1975年因在人工智能方面的贡献而获得图灵奖(Turing Award),是卡内基梅隆大学(Carnegie Mellon University)的跨学科教授。 他将启发式方法定义为“以适度的计算量得出令人满意的解决方案的方法。” Simon创造了有限理性一词,以描述在复杂,时间受限的情况下启发式问题解决方法。 有限的理性描述了对人类认知限制的补偿。 我们采用智力上的捷径(例如概念隐喻)来代替当前的实际问题。 有趣的是,当解决困难的问题时,我们经常不自觉地执行此操作,这个过程由[明显地多产的] Tversky和Kahneman描述(在我的《堕落的恐惧》和《高期望的祸根》一书中,有更多关于它们的描述)作为属性替代

但是,对我们有限理性的有意识的认识使我们能够将其作为解决问题的方法。 我们被人类深深地笼罩着,被它牢牢地束缚着,但是我们也可以被它所释放。 正是我们有能力借鉴过去的经验,并用抽象的简单性代替复杂性(我称之为隐喻简化 ),这使我们能够超越纯粹的计算范围来发现新的机会。 当由于缺乏信息或时间而无法获得数学上最优的解决方案时,有限理性被专门引用为决策框架。

确实,正如巴贝奇所说,“数字具有很多魅力。”我们可以体验这些魅力的方法是将数字处理和分析才能与我们的人类启发式性质相结合。 通过对数据进行严格的分析并结合灵感的启发,一系列令人惊讶的惊喜将使软件系统发挥最大潜力。

进一步阅读

信息:历史,理论,洪水,詹姆斯·格里克(James Gleick),2011年

普通事故:高风险技术生活,查尔斯·珀罗(1984),

启发式轻松:减少工作量框架,普林斯顿大学的Anuj K. Shah和Daniel M. Oppenheimer,2008年

选择的悖论:为什么少花钱多,作者:Barry Schwartz,2003年