DeepMed Featured Readings | 2023No.13
上周，Nature Medicine发表了一篇由来自美国威尔康奈尔医学院、德克萨斯大学奥斯汀分校、哥伦比亚大学的专家合作撰写的通信文章《AI生成文本可在循证医学中发挥作用》（AI-generated text may have a role in evidence-based medicine）。该文篇幅不大，言简意赅，对大语言模型用于循证医学的潜力、存在的问题、改善的方向进行了概述。
全文核心内容编译如下：
循证医学（EBM）一般会优先考虑来自随机对照试验（RCTs）、系统评价（systematic review）和Meta分析的有力证据。科学文献的爆炸性增长和新证据来源的出现（社交媒体、病例报告和大规模观察性研究），以及自由文本的性质，使得评估和选择最佳可用证据变得困难。
以ChatGPT为代表的大型语言模型（LLMs）已经在影响文档的生成。根据已有经验，ChatGPT可以对事先写好的系统评价进行总结。然而，ChatGPT在总结中往往会遗漏重要的属性，生成的内容也会包含事实错误、不正确的数据和错误的陈述。然而，只要能避免陷阱，就有机会在EBM中使用LLMs。
表1 - 在循证医学（EBM）中使用大语言模型（LLM）的优势和问题
大模型应用方向
| 应用的定义
| 大模型的优势
| 需关注的问题
| 证据检索
Evidence
retrieval
| 搜索、识别和收集临床声明的相关信息
| 有效地处理大量的文本
| 对声明缺乏理解；对隐私、责任和偏见的道德担忧
| 证据合成
Evidence
synthesis
| 系统地整合多项研究的结果，得出基于证据的结论
| 文本合成和总结
| 缺乏持续的学习能力；缺乏时序推理能力
| 临床推理
Clinical
reasoning
| 收集和分析患者的状况，以达成照护患者的医疗决策
| 用明确的推理步骤回答问题
| 缺乏评价推理的基准；缺乏基于知识的推理；有可能造成医疗伤害
| 证据传播
Evidence
dissemination
| 向目标受众传达并分发基于证据的实践行动
| 连贯性强，易于理解
| 缺乏事实的一致性和全面性
|
EBM与其他形式的医学或临床研究写作不同，它有严格的采纳和排除标准，PICO（patient-研究对象, intervention-干预, comparison-比较, outcome-结局）框架是迄今为止最广泛采用的问题构建框架。
LLMs可以使用few-shot learning（一种从有限的标记实例中生成模型的技术）来提取PICO元素，这种技术已经被用于文本分类和总结。自然语言生成能力使LLM能够通过完成一项提示（prompt）来解决任务，而不需要对参数进行微调，从而降低注释成本，加快PICO的提取速度。LLMs应该与传统的语言模型以及由证据审查员手工提取的PICO评估进行比较，以检查PICO输出的正确性和完整性。
证据合成（evidence synthesis）的目的是系统地整合多项研究结果，以得出基于证据的结论，为医疗决策提供依据，而且它在不断迅速发展。RCTs的数量以前所未有的速度激增，新的证据来源也越来越难以通过文献检索来识别。有些人把这种泛滥称为“信息瘟疫”（infodemic），在这种情况下，普通的临床医生要跟上最新的知识是不可能的。在未来，LLMs可以成为给复杂的医学问题提供对话式答案的宝贵工具。然而，LLM的答案可能是过时的，自相矛盾的，或者不准确的。
过时（obsolescence）是临床实践指南的一个问题。EBM是一个持续的过程，必须定期审查临床证据以评估证据合成是否是最新的。目前，LLMs无法持续学习和更新他们的知识库。它们是根据特定时间点收集的数据进行训练的，因此无法纳入最新的临床证据。如果LLMs要被用于医学，它们就需要在新的研究发表后不断地被更新。
目前的LLMs也无法区分当前的证据和过时的研究。未来的LLM应该能够识别时间敏感的证据，并进行时间推理，以了解证据是如何随时间演变的，如识别新的指南何时取代了旧的指南。
许多临床证据都是高质量的，但个别研究在计划、实施、代表性、分析或报告方面可能存在问题。因此，对这些研究的依赖可能导致伤害。所有的医生都应该能够批判性地评估和综合相关的和可靠的证据，以回答一个具体的临床问题。
LLMs可以用明确的推理步骤来回答问题，这一特点可以在支持临床推理方面发挥作用。尽管有这些LLMs推理的证据，但还需要进一步研究，将基于知识的推理能力纳入LLMs，使其能够进行复杂、稳健和可解释的思考，并确定其在EBM中的应用潜力。医学证据界应该构建基准来评估LLM的推理能力。
临床推理的一个核心组成部分是其知识库，它通常存储在复杂的结构化数据中。我们相信LLMs和精心策划的临床知识库是相辅相成的，生物医学信息学和健康数据科学界可以贡献大规模的可共享知识库，使LLMs具备可计算的知识，并使LLMs能够进行可靠的推理。
患者或健康消费者应该是临床决策的一部分，但在系统评价和其他健康文献中使用的技术性和复杂的医学术语对一些人来说可能难以理解。LLM可以用通俗易懂的语言取代技术术语，使更多的人能够理解医学信息。这可以提高参与度，使患者和公众在自己的健康决策中获得权力。
由LLMs产生的非专业性摘要可能存在准确性不足的问题，应始终由专家审查，在必要时进行纠正或澄清。专业性摘要和非专业性摘要都应该提供给患者，以支持信息的溯源。如果这些问题得到解决，那么通过改变未来证据的产生、评估、合成和传播的方式，可以改善医疗决策。
原文 链接：
AI-generated text may have a role in evidence-based medicine
https://doi.org/10.1038/s41591-023-02366-9
| 
