自然语言处理

自然语言处理(NLP) 主要通过分析文本和语音来推断词的语义。循环神经网络(RNN)能高效处理 该领域的序列数据，如语言、语音和时序数据等，它在 NLP 中起到了非常重要的作用。NLP 中的 机器翻译、文本生成和图像描述取得了显著成功。在医疗领域中，序列深度学习和语言技术为电子 健康档案(EHR)等应用提供了很多支持。

电子病历信息的标准化与数据的规模化的优势是十分明显的，尤其是在医疗行业标准化未形成的时 候。因此将深度学习应用到EHR数据是一个迅速发展的领域。下图展示了为 EHR 构建深度学习系统的主要技术流程。其中系统首先会汇集多个机构的数据来构建 原始数据，这能确保构建一个可泛化的系统。然后将各种非结构化的 EHR 数据标准化并解析为患者 的时序数据，这可以令数据更适合使用深度学习进行训练。因此，最后我们就能推断出高级医疗问 题的答案，例如「患者病史中的哪些信息与当前疾病相关?」、「患者目前的疾病或问题列表是什 么?」、「有哪些介入治疗的可能性?」。

 

图3: 使用EHR进行预测， 步骤a中， EHR为异构数据， 步骤b映射为FHIR格式。标准化医疗数据格 式。根据用户的时间序列化数据，基于时间序列的深度学习技术能直接应用在数据集上。

 

图4: 快捷式医疗服务操作资源

在进行预测时，目前大多数研究工作都在有限的结构化数据上使用监督学习，这些数据包括实验室 结果、生命体征、诊断码和人口统计数据等。为了解释 EHR 中的结构化和非结构化数据，研究者开 始使用无监督学习方法，例如自编码器等。最近深度学习通过卷积和循环神经网络建模结构化事件 的时序序列(这些事件出现在患者的档案中)，预测未来的医疗事件。这些工作大多数都聚焦在重 症监护医学信息数据库(MIMIC)，它包含来自单个医疗中心的大量重症监护(ICU)患者数据。虽 然 ICU 患者比非 ICU 患者能产生更多的 EHR 数据，但非 ICU 患者的数量要远远超过 ICU 患者。 因此目前仍然不确定从这些数据获得的模型如何泛化到更广泛的人群中。

下一代语音识别和信息抽取模型可能会开发临床语音助手，从而准确地转录患者就诊信息。医生在 工作日的 11 小时中，需要花 6 小时处理 EHR 文档，而这会减少用于患者的时间。因此自动化转录 将缓解这种问题，并促进更多更有价值的服务。基于 RNN 的语言翻译模型能够使用端到端的技术直 接将语音转换为另一种语言的文本。这种技术能直接将患者和医生的对话转化为转录文本记录。不 过关键难点在于，在准确总结对话的同时，模型还需要从对话中对每个医疗实体的属性和状态进行 分类。虽然早期的人机交互实验非常有前景，但这些技术还没有广泛部署到医疗实践中。

未来的研究工作可能会集中在开发新算法，以更好地利用 EHR 中信息丰富的非结构化数据。例如在 开发预测系统时，临床记录通常被省略或采用节选编辑，这种非结构化数据就含有非常多的诊断信 息。一般我们通过半监督学习结合结构化和非结构化数据，其中大规模 RNN 展现出非常优秀的性能 与结构。这种数据组合允许模型从更广泛的数据类型中学习更多的知识，并在多项任务中超过其它 技术，这些任务包括死亡率、再入院率、住院时间和诊断预测等。

强化学习

强化学习是指训练计算智能体成功与环境互动的技术，通常是为了实现特定目标。强化学习可通过 试错、演示或混合方法来实现。一旦智能体开始在其环境中采取行动，奖励和后果的迭代反馈循环 会训练智能体更好地完成目标。从专家演示中学习有两种方式:通过监督学习(即模仿学习)直接 预测专家的行为;推断专家的目标(即逆向 RL)。要想成功训练智能体，模型函数至关重要，它把 环境中的感官信号作为输入，输出智能体要采取的下一步行动。在深度强化学习中，深度学习模型 作为模型函数，颇具前景。

可以从深度学习中受益的一大医疗领域是机器人辅助手术(RAS)。目前，机器人辅助手术的主要 方式是医生以遥控方式指导机器人操纵器械。通过使用计算机视觉模型(如 CNN)来观察手术环 境、使用强化学习方法学习外科医生的动作，深度学习有效提高了机器人辅助手术的稳健性和适应 性。这些技术支持高度重复与时间敏感的手术任务，如缝合和打结。例如，计算机视觉技术(如用 于目标检测 / 分割和立体视觉的 CNN)可以根据图像数据重建开放性伤口的样子，然后通过解决路 径优化问题生成缝合或打结轨迹，该路径优化问题试图在考虑外部约束(如关节限制和障碍)的同 时找到最优轨迹。与此类似，用图像训练的 RNN 通过学习外科医生的动作序列能够学会自动打结。

这些技术对这些技术支持高度重复与时间敏感的手术任务，如缝合和打结。例如，计算机视觉技术 (如用于目标检测 / 分割和立体视觉的 CNN)可以根据图像数据重建开放性伤口的样子，然后通过 解决路径优化问题生成缝合或打结轨迹，该路径优化问题试图在考虑外部约束(如关节限制和障碍)的同时找到最优轨迹。与此类似，用图像训练的 RNN 通过学习外科医生的动作序列能够学会自动打结。

生物计算与制药

除了上述任务以外，深度学习也适用于数据差别微妙且需要特别对待的领域。此处以基因组学为 例，在这一领域中，用于处理独特数据表征的深度学习技术已远不止(基于 CNN、RNN 等的)传 统深度学习方法。

现代基因组技术包含许多种度量，从个人 DNA 序列到血液中多种蛋白质的数量。用于分析这些度量 的方法可以通过深度学习得到极大改进，而这些改进将帮助临床医生提高治疗和诊断的准确率。在 基因组学领域，创建一个深度学习系统的典型工作流程包括获取原始数据(如基因表现型数据)、 将原始数据转化为输入数据张量、将这些张量数据传入神经网络并用于特定的生物医学应用。

 

图5: 基因组中的机器学习，输入数据。基因组数据由实验测量数据组成，从中可以预测某些特性或 有趣的结果。这些数据通常丰富多样，可能包含排序、基因表现型、功能性数据以及其他形式的分 子数据。

AI医学领域应用盘点

医学成像心脏病学

深度学习的关键临床应用包括诊断和筛选。心血管医学中最常⻅的成像方式是心脏超声或超声心动图。作为一种经济高效的无辐射技术，超声心动图因其直接的数据采集和解释功能 而特别适合应用 DL 技术，它常被用于急诊住院设施、⻔诊中心和急诊室中。

病理学， 深度学习技术可以支持很多重要的医疗任务，包括诊断、预测病情和治疗效果、疾病监 测等。

皮肤病学，例如CNN 在归类良性与恶性皮肤病变时的性能可以媲美皮肤科医生。

眼科学， CNN 可以准确诊断许多疾病。眼睛包含大量人类无法解释的特征，包含有意义的医疗信息，而 CNN 可以获取这些特征

医疗视频

手术应用，深度学习在医疗方面的重要应用包括通过实时环境感知、技能评估和训练来提升手术性能。早期研究主要在基于视频的机器人手术和腹腔镜手术中开展。另一个方向则是利用计算机 视觉识别不同的手术阶段，从而开发环境感知的计算机辅助系统。

上一页  [1] [2]