在最近的《评估社会科学实验在自然与科学之间的可复制性》(2010年至2015年)一书中,作者重新进行了21篇发表在《自然与科学》上的社会科学研究。
在这篇文章中,我将仅阅读这些研究的摘要,并在看到结果之前猜测将重复哪些研究。
[编辑:现在变成了8万小时的完整测验:https://80000hours.org/psychology-replication-quiz/)
我的一般启发式如下:
- 如果研究表明社会科学家是现代巫师,可以通过启动或类似方法轻松操纵人们的选择,那么它就不会重复
- 如果研究结果涉及一厢情愿的想法,例如您可以通过简单,优美的声音操作获得巨大的好处,那么它就不会重复。
- 如果以上都不是,特别是如果结果与常识相符,它将被复制
- 如有疑问,我查看了论文中的p值,并猜测如果p值接近0.05,它们将不会复制。
- 与使用较轻剪贴板时评估履历的参与者相比,使用较重剪贴板时评估履历的参与者对简历的总体评价更高。
我的猜测:社会科学家是现代巫师,不会复制。
2.身体暗示而非面部表情可以区分强烈的积极情绪和消极情绪。
我的猜测:可能会复制
3.通过对妇女的优惠待遇(即,每名女子的表现在比赛中自动提高一个单位),更多的女子将选择参加比赛
我的猜测:将复制直接的理性行为。
4.随着群体规模的增加,文化知识的恶化程度将降低,现有文化特征的改善更加频繁,文化特征的多样性得到更频繁的维护
我的猜测:常识,将复制
5.如果相似的对象前面有新的对象,则比旧的对象前面有的对象更准确地标识为相似
我的猜测:不确定这一点,因此我在论文中查找了p值。 它小于0.001,所以我猜测它会复制。
6.与查看视觉上相似的艺术品的控制图像相比,通过“思想者”的图像引发分析思维会增加宗教信仰
我的猜测:轻松的巫术改变了根深蒂固的信念,绝对不会复制。
7.当潜在的捐助者知道已经支付了间接费用时,选择慈善机构的可能性比当捐助者自己支付间接费用时更高。
我的猜测:理性的行为,会复制
8.使用中位数投票为所有组成员选择提取级别,比允许每个人选择自己的提取量,可以提高公共资源库的可持续性。
我的猜测:听起来像人群的智慧,将会复制
9.在空间和时间资源动态的共同池资源游戏中,交流增加了平均收益。
我的猜测:常识,将复制
10.在学习一周后进行的一项记忆测试中,“检索练习”使参与者回想起比概念映射更正确的信息。
我的猜测:将复制
11.阅读文学小说可提高情感心理理论
我的猜测:一厢情愿的想法,绝对不会重复。 人们已经拥有一生的心智理论经验,多读一点东西不会带来明显的变化。
12.参与者自动预测代理人的信念并以与他们自己对环境的表示类似的方式存储它们
我的猜测:将复制
13.洗手会通过增加人们对替代品的认知差异来显着减少证明其选择合理性的需求。
我的猜测:心理不可思议的思想,不会复制。
14.反复想象吃食物会减少食物的实际消耗
我的猜测:难以解决的简单解决方案将不会重复。
15.在最初不平等的情况下,与看不见财富相比,财富可见性导致更大的不平等
我的猜测:听起来不像是一厢情愿,所以很可能会重复。
16.进行调教的调解员比调教的调解员更大
我的猜测:我认为这就像主动召回一样,这是有好处的,因此可以复制。
17.在高压实验室数学测试中,与安静地坐着相比,那些用10分钟时间写出自己对即将到来的测试的最深刻想法和感受的人在该测试中的进步更大
我的猜测:不会复制
18.与激发人们反思相比,激发人们相信自己的直觉会增强公共产品博弈中的合作。
我的猜测:社会科学家是巫师,不会复制
19.在重复的“财富轮”式单词益智游戏中获胜的机会较少的低财富科目,在随后的注意力任务(点混合任务)中的表现要比高财富的个体差
我的猜测:对我来说不是立即显而易见的,但看起来像是一种交互作用,可能只有在主要作用不显着之后才进行调查。 然后,我在纸张中查询了p值,它的值为0.046,所以我现在可以肯定地说它不会重复。
20.在回答了一系列棘手的琐碎问题之后,计算机术语比一般的单词更容易访问; 使用计算机术语启动后与使用非计算机术语启动后相比,在修改的Stroop任务中测量为更长的颜色命名反应时间
我的猜测:不太了解,但是关于启动有很多事情,因此不会重复。
21.从列表中进行12分钟的外部活动(例如看电视或看书),被认为比12分钟的“思考期”更有趣,他们可以用自己的思想进行娱乐
我的猜测:是的,看电视总比坐和无聊好,肯定会复制。
查找实际的复制结果:
我的上述所有猜测都是正确的,除了14个。(反复想像然后吃点食物会减少食物的实际消耗。)
这并不意味着我的猜测是非同寻常的,因为实际上调查和博彩市场都准确地预测了哪些也可以复制:

总的来说,我认为这是一个积极的结论。 如果很容易预测将复制的内容,则应该很容易采取一些步骤来提高可复制性。 希望这实际上会发生。
布赖恩·诺塞克(Brian Nosek)报告说,《科学与自然》不愿发表此复制论文。 同时,他们可能会继续发表不可复制的研究,因为这就是他们的动机。 作为一个科学共同体,我们需要为此分配较少的地位。 这是导致行为改变的唯一方法。