综合知识:处理偏见并提出正确的问题

艾哈迈德·阿布·塞塔博士专访

崔西·罗奇

凯特(Kate)之前写了一篇关于 知识合成 如何 成为知识翻译的核心 的文章 ,她在文章中讨论了系统评价的关键组成部分,并提供了范围界定评价的简短描述。 在这篇文章中,我们认为我们将通过采访 乔治·费伊医疗创新中心(CHI)的 主任 艾哈迈德·阿布·塞塔 (MD,PhD)来 更深入地研究知识综合领域。 知识综合平台 他曾在埃及,荷兰和加拿大接受过培训(仅举几个例子)。

日常选择与公正证据的需求

艾哈迈德(Ahmed)从他的导师那里学到的许多东西之一就是药物变化的速度-新技术和干预手段的发现意味着医生必须不断学习,发展并保持最新证据(因此, (通过证据综合提供)很容易获得和审查,这一点很重要)。 他还了解到“那里有很多轶事证据,错误信息和偏见。”例如,他说,“我们一直被告知老年人了解更多,”但是在医学上,您可能会有居民在以后的生活中开始了他们的训练。 “在患者的眼中,[这些居民]看起来好像已经在田野里呆了很长时间”,即使他们是房间中最年轻的人,他们也被认为会了解更多。

“我们认为是正确的( 例如,干预措施或药物有效 ),而我们每天所做的大多数事情都是有益的( 例如,个人活动,如清洁,瑜伽,喝8杯水等 )–我会说有99%的时间,没有确凿的证据支持我们的信念。”通常只是我们所受的教育,我们所看到的有限的(通常是轶事)证据支持或以其他方式与我们自己的内部偏见有关(如Pat在上一篇有关裸露的文章中所讨论的)。 实际上,我们的某些日常活动实际上可能适得其反,甚至有害—艾哈迈德(Ahmed)举例说明了过度使用抗菌药以及“多多益总并非总是更好”的例子。我们还不知道很多,以及“我们认为是真理的东西通常变得非常混乱,尤其是当您开始添加营销和说服力时”( 编者注:根据 Goop 排毒饮食 思路来 思考 )。

即使对于定期综合证据的训练有素的方法学家,这些偏见也可能难以解决。 正如艾哈迈德(Ahmed)告诉我们的那样,这并不像说“如果我使用此算法,如果我使用此模型,那么它将自动消除偏差-它回到了俗话,’垃圾进,垃圾出’”。证据会产生偏见。 艾哈迈德(Ahmed)以亚马逊尝试创建AI(人工智能)招聘工具为例,事实证明,该工具被系统地偏向女性,因为它基于十年来提交给亚马逊的简历中的模式,其中大部分来自男性。 根据艾哈迈德(Ahmed)的观点,问题是“我们首先要向其提供有偏见的信息-所有[AI]所做的都是一遍又一遍地处理相同的数据,因此他们正在更大范围内产生相同的偏见” 。 因此,我们不需要更多信息。 相反,我们需要无偏见的信息才能得出正确的结论。

使事情更具挑战性的是,审阅者实际上无法衡量偏见,而只能衡量偏见的风险 。 他使用的示例是一个假设的情况,在这种情况下,某公司向研究人员付费以测试他们的产品之一。 正如艾哈迈德(Ahmed)解释的那样,“您可能会认为那里存在巨大的偏见-肯定存在着巨大的偏见风险 ”,但您实际上无法知道该研究人员是否完全客观。 由于他们的竞争利益而有偏见; 甚至存在负偏见-也许研究人员已经决定,由于他们是由公司支付的,所以他们希望自己尽可能避免偏见,以至于他们朝相反的方向偏见- 反对自己偏向公司为…卖力。

“在这里,您将尝试尽可能地客观,并尝试评估偏见的风险。”

信任证据并做出决定

那么知识综合如何提供帮助呢?

“知识综合试图提供对真实情况的无偏见。 我们所做的许多工作都是试图消除研究中的偏见,以识别我们所知道的,我们所不知道的,以及如果我们知道一些东西,那么我们实际上会相信多少。”本质上,艾哈迈德告诉我,任何综合问题的答案都属于以下三类之一:

  1. 我们不知道
  2. 我们知道,我们对所知道的充满信心;
  3. 我们有一个主意,但是在问题的两边证据都很均衡。

大多数合成结果都属于类别3。 艾哈迈德(Ahmed)解释说,这就是为什么人们对科学的常识在不断变化的原因(例如,胆固醇一天就不好,而第二天就不好了)。 他说:“这是一个不断变化的目标,因为证据本身经常受到如此多的偏见所抵触,需要添加新的证据,而且答案可能会不断变化。”尽管如此,艾哈迈德认为,重要的是要承认证据的存在(即使我们不信任自己),我们的患者,以及公众。

但是,他承认,对于决策者来说,在采取行动之前等待具体的答案通常并不那么简单。 “他们必须选择一种方式来做出决定,他们必须选择,这使他们的生活更加困难。 从知识综合的角度来看,我们只是试图向他们展示我们对证据的一切了解,以及哪些偏见或其他因素可能会影响证据,但最终他们必须做出这些决定。”艾哈迈德(Ahmed)的心态是“知识综合不应仅仅从它们正在综合的证据中得出结论或决定性的决定。”(至少部分地)由于医疗保健决定中涉及许多其他因素,例如患者偏好,宗教推理,政治因素本质上,艾哈迈德(Ahmed)说:“我们的职责是提供证据,但这不是我们为其他人决定如何使用该证据的决定的地方” –这是一个更大的团队专家和利益相关者的介入,以及随后的知识翻译,以帮助确定如何传递这些信息。

系统评价的兴起

系统评价被认为是证据的“黄金标准”,重要的决定(例如医疗保健方面的决定)应以此为依据。 但这并非总是如此:“如果我们追溯到1970年代,80年代和90年代,大多数顶级研究包括社论,专家意见和共识小组。”艾哈迈德描述的方式是,“在1980年,一位教授正在做叙事性评论,而在2020年,他也在做同样的评论,并将其称为系统性评论”。 根据艾哈迈德(Ahmed)几年前从事的一个小型项目,到2014年在PubMed工作,“我们实际上比随机对照试验发布了更多的系统评价出版物。”

正如艾哈迈德(Ahmed)告诉我的那样,“每个人-知道或不知道-都已经参加了系统评价和扩展的潮流,例如荟萃分析,网络荟萃分析等,无论是否经过他们需要的培训,没有严格的要求,不管是否了解他们将要处理的偏见。 我们看到大量的研究[出版物]声称是系统的综述,其方法学很差,没有遵循一般的综述或综合报告应该经过的预期研究严格性,甚至可能更糟。 。

他说,问题的一部分是“高级研究人员和管理者承受着很大的压力,他们的学生和居民需要进行系统的审查。 例如,一些主管会告诉他们的学生“您在这里一年,我希望您进行六个系统的审查”。 好吧,显然,如果您希望他们在一年内进行六次检查,那么您根本不知道该进行系统的审查。 您可以去图书馆进行文献检索,也可以在一两个月内完成报告,但是除非您真的知道自己在做什么,否则您将在两个月内无法[能够完成]适当的系统评价。 。”

提出正确的问题

根据艾哈迈德(Ahmed)所说,最大的问题(也是Knowledge Synthesis平台非常习惯处理的一个问题)提出了正确的问题。 决策者和政治人物有议程(例如降低成本,等待时间等),并正在寻找具体结果。 但是,通常情况下,他们提出的问题实际上不会给他们所需的答案。 “与人们合作以了解问题所在通常非常困难。”

例如,客户可能进来说他们想知道两种药物中哪一种更有效。 但是,他们真正寻找的是针对特定情况的最佳选择-这不仅与药物功效有关,还需要考虑其他因素,例如成本效益,可获得性,副作用和依从性。 艾哈迈德(Ahmed)在其介绍性知识综合演讲中喜欢使用的示例是这种情况:“您的祖母跌倒并摔断了臀部-她去医院接受了手术,然后您去医院看望她,您发现她很痛苦。 。 护士说:“嗯,这对她的年龄来说是正常的”,但您对此并不信服,因此您想进行研究-您要问的问题是什么? 这听起来像是一个非常简单的问题,例如“什么是最好的止痛药?”,但这实际上对于证据综合来说是一个非常糟糕的问题。”

他进一步解释说:“有很多不同的方面,我们正在研究什么年龄? 我们是否关心个人的性别? 在医院内还是医院外? 疼痛的部位呢? 副作用? 那家特定医院有哪些药物可用? 门诊还是住院? del妄和其他合并症呢? —回答这个问题涉及很多方面,因为它可以朝许多不同的方向发展。 如果您问一个非常广泛的问题,您将得到一个非常广泛的答案。 最后,您想知道“对祖母应该做什么?”,这取决于她的具体情况-禁忌症,需要考虑的历史等。”

最终,艾哈迈德说:“最好从一个非常非常具体的问题入手,您可以不断扩大自己想要的范围,以使所得到的答案在特定情况下既合理又有用”。

有效证据综合

我问艾哈迈德(Ahmed),研究人员和其他希望进行证据综合的客户应如何处理这一过程以获得最佳结果。

当某人进入知识综合平台时,他会提出问题,以激发他们将在面对面咨询中讨论的观点的思考。 其中包括“您正在考虑的人口数量是多少?”和“感兴趣的背景/环境是什么?”这样的问题( 编者注:有趣的是,这也是我们在KT中提出的前两个问题,正如Carly在其博客中关于 写作的描述KT转换为拨款申请 )。 对于干预措施的审查,他将请客户考虑PICOTSS(人口,干预措施,背景,结果,时间,设置和研究设计)标准。 但是,知识综合平台所做的许多评论都与预测因素,关联,疾病模型或成本效益有关,而不仅仅是干预。 无论如何,研究人员在考虑进行审查之前应该问自己“以前进行过哪些研究? 什么做得好,什么没做? 开始批判性地分析该领域的现有研究并努力提出问题。

知识综合的未来

由于知识综合平台是CIHR马尼托巴省患者导向研究(SPOR)策略的一部分,因此当前的评论重点是医疗保健和患者导向研究。 但是他们的工作范围在不断扩大,以包括更广泛地研究证据,包括可能与医疗保健不直接相关的事物,例如动物模型,表观遗传学以及其他可能不适用于患病人群的研究类型。 。 尽管如此,艾哈迈德说:“原理保持不变。”

由于我的背景是进行动物模型的临床前研究,所以我不禁对这种类型的工作作进一步的探讨。 艾哈迈德(Ahmed)告诉我,评论方法学家已经意识到,就标准而言,与医疗研究相比,动物模型中的合成工作“非常落后”。但他充满希望。

“我们已经知道了途径-我们拥有更好的方法,我们知道如何更好地报告,以及如何更好地分析研究。 我们可以使用动物模型中的知识,可以确定哪种动物模型最适合将发现转移给人类。”虽然这些模型与医疗保健没有直接关系,但对于发现疾病的潜在机制和早期干预措施的发展至关重要。在临床背景下进行研究。

知识综合也正在扩展到其他领域,例如职业健康和安全的工作习惯(整日坐着会背痛,有人吗?),社会学甚至是信息技术,因为它提供了“对证据的偏见要少得多”比我们传统上习惯的要好。”

评论的奖励

知识合成平台已完成的一些工作产生了重大影响,包括他们与羟乙基淀粉(HES)的合作,羟乙基淀粉是一种用于治疗大量体液流失(例如出血)的治疗方法。 审查小组(由Knowledge Synthesis平台前总监Ryan Zarychanski领导)确定,HES实际上增加了死亡和肾脏损害的风险。 他们的发现导致美国食品和药物管理局(US Food and Drug Administration)发出了黑框警告,欧洲药品管理局(European Medicines Agency)呼吁将HES撤出市场,加拿大卫生部(Health Canada)发布警告,警告其在具有某些健康状况的重症患者中使用。

我问艾哈迈德(Ahmed)他的工作最有意义的部分是什么(除了工资支票)。 他告诉我说:“当您与患者一起工作时,您可以影响一种生活。 借助知识综合,您可以更大范围地影响更多生活。”

在证据综合方面需要帮助吗? 想要与方法专家合作? chimb.ca/knowledgesynthesis上 查看知识综合平台提供的服务