我只是按照计算机告诉我的那样做

计算机设定了我们的信用额度,保险费,福利援助,税收以及我们生活的其他方面。 但是由代码做出的决定可能非常不公正。 而且,如果我们放弃对计算机的责任,并且像在遵循命令那样行事,那么情况将会变得更糟。 当我们朝着算法管理的社会迈进时,我们比以往任何时候都更加需要记住我们的人性。

以今天的新闻为例:联合航空强行将乘客从超额预定的飞机上撤离,以便其员工可以旅行。 混乱比比皆是:这位乘客声称自己是一名医生,这一细节似乎已从新闻报道中消失了; 航空公司,警察,机场安全和TSA都互相指责。

无论如何,这都是公关的噩梦。 我们知道的是,当乘客没有自愿提供800美元的优惠券来换取他们的座位时,航空公司就谁决定撤离做出了任意决定。

或者更确切地说,他们要求计算机这样做。 这个很重要。

关于该事件的报道提到,机组人员说:“使用计算机系统来选择要撤离的乘客。”他们放弃了对算法的责任,并以此为借口来换取他们原本不人道的行为。

当然,情况从那里开始升级:当乘客拒绝时,机组人员要求保安,由于多种原因,他们可以很容易地做到这一点。

心理学家早就知道,如果人类有被授权这样做的话,他们会做可怕的事情。 米尔格拉姆(Milgram)的37和斯坦福监狱实验是这种行为的两个著名例子,许多人都用来解释战争罪犯犯下暴行的意愿:“我只是在做我的工作。”

人类很快将能够隐藏在算法背后以证明他们的行为是正确的。 我怀疑当机器人和机器采取重复性工作时,我们将创造的工作之一就是同情和理解。 人性化在灰色区域发挥作用-不会让您过快的路过的警察; 福利办公室忽略单身母亲从月光下的收入,并给她食物券; 让房客休息的房东,而不是让算法来决定租金的上涨。

当机器移除灰色区域时,需要人工将它们放回原处。隐藏在计算机决策后面的是危险的,滑溜的斜坡。