科学在改变。 尽管变革很难，但我一直在努力调和自己的私利追求（例如，正确，任职）与我认为跨科学的方法论和统计方法的重大变革之间的矛盾。 对于拥有旧习惯的我们来说，这段过渡时期可能会是一个艰难的时期：即使我对诸如预注册，直接复制，开放科学以及结束可疑的研究实践之类的许多雄辩而合乎逻辑的论点深信不疑，事实是，承认我们之前做错了事就意味着我之前做错了事–我可能在这里是因为我做了我现在认为是客观错误的事情。 那是很难吞下的药。
这些艰辛的认识需要作出回应，在过去的三年中，我试图改变自己的科学方法。 这包括在我的实验室中转向更直接的复制，手稿的开放数据和材料，具有更高统计能力的设计-包括更大的N和在主题设计中的使用，避免有问题的研究实践（例如，可选的停止，选择性的报告，异常排除），预注册和另一种手稿审阅方法，除了理论和新颖性外，还涉及权衡证据的实力。
- Je Vous Dis，默德！ 14：特朗普时代的认知墙
- 您的旅行个性可以帮助避免人为拥挤的陷阱吗？
- FoMO提醒！ 行动中的稀缺性原则
- 我押注您$ 1,000,000，您无法解释为什么1 + 2 = 3。
- 关于预注册的思考：第一部分
我已经成功地改变了我进行科学的方式吗？ 让我们看一下证据。
像我一些更勇敢的同事一样，我从2009年1月开始对我所有已发表的个人研究进行了审核。我根据自己对可疑的研究实践和开放科学的认识，将发表的记录分为两半。 2011年末至2012年初。2009年至2012年之间发表的研究代表了我的认识前时期，而2013年至今的研究则来自我的认识后时期。 为了评估我在这两个时期中方法学实践的质量，我使用了每个研究中最相关的假设来确定焦点统计测试，然后在此处的电子表格中记录了该焦点测试的测试统计信息。 然后，我将焦点统计信息插入到p-checker应用程序中。 结果总结如下：
从这些数据中可以看到，在意识前和意识后时期之间的所有发布偏见度量上都有改进。 除了p曲线外，我的意识前R指数和方差不足检验（TIVA）与存在不健康的出版偏见相一致-第一个（R-Index）暗示成功复制的可能性，而第二（TIVA）表明研究结果之间的差异可能会因出版偏倚而减少。 相比之下，意识后时期显示出发布偏倚的所有三个指标都有所改善（尽管TIVA仍<1）。 我为曾经去过的地方而感到沮丧，但为自己要去的地方感到自豪。
您还可以看到一些变化的设计选择反映在我的意识后期。 中位数样本数量已从N = 109增加到N = 178，我实际上希望在我的职业生涯的剩余时间内将最小样本数量提高到N = 200。 实施更大的样本可能意味着需要在线上收集更多数据，并且您会发现我的数据收集实践正在发生这种情况：而在我意识到的情况下，我发表的研究中不到20％来自在线众包调查社区，例如MTurk期间，该数字现在接近42％。 除了这些在线数据收集实践之外，我还通过在野外使用更具创造性的数据收集策略（请参阅此处）并搜索大型的现有数据源（例如在此处）来增加了实验室/领域N。 除了增加N并在主题设计中实现更多效果之外，我还寻求了通过更强大的操作和更多极端示例来引发更大效果的方法。
我还开始采用一些新的科学实践，希望能提高自己研究的可靠性：而我的预知期包括零（!!!）直接复制我自己研究的重点结果，因此我开始更频繁地包括这些内容进入新的研究设计。 我的目标是每年专门为这个直接复制计划投入一个项目。 我也已经开始为公开发表的研究提供数据和资料，并将继续扩展这些开放性实践。 我什至发表了两项有关预注册数据收集和分析的研究。 我还积极寻找其他工具和策略来提高研究的可重复性。
这些不断变化的做法的结果是，我的科学速度有所放慢-与意识前的时期相比，在意识后发表的文章更少。 高质量的方法每次研究需要更多的时间和精力。 我认为这是一个折衷，我认为随着时间的推移，每个人都可以变得更加自在，尤其是因为它应该伴随着更可靠的结果。 定性地，我还发现我的每篇新论文都更加狭narrow地侧重于特定的假设，这一特征与必须实施先前研究的直接复制相一致。
“因为我们不信任，所以不需要开放； 它是必需的，因为我们是人类。” — Brian Nosek，Jeffrey Spies和Matt Motyl（ 在此 ）
科学是一件大事，但改变科学取决于个别研究人员做出的简单决定。 我写这封信是我需要改变的承认，也是其他人采取行动的呼吁。 希望您能在自己的实验室和我们的期刊页面上接听电话。
