MIT用深度强化学习控制麻醉患者的无意识状态，获2020AI医学国际会议最佳论文

近年来，研究人员加强了对各领域的机器学习算法开发。可应用于医疗保健的算法，更是热中之热。在医疗领域，算法能帮助临床医生诊断特定疾病或神经精神障碍，还能长期监测患者的健康状况。

最近，麻省理工学院(MIT)和麻省总医院的研究人员进行了一项研究，他们的研究旨在利用深度强化学习来控制麻醉病人的无意识程度。论文发表在《2020年人工智能医学国际会议论文集》上，并被选为会上提交的最佳论文。

目标无意识水平和观察无意识水平的最佳，中值和最差情况测试模拟

我们知道，麻醉药物可以帮我们暂时「消除」疼痛，但剂量的大小十分重要，稍有不慎，可能会给患者的神经系统带来不可逆转的损伤。

「如何准确确定的麻醉剂量？答案似乎要在神经系统的记录中来寻找，」Gabriel Schamberg，他这项研究的研究人员之一，「在我们的最近研究中，我们使用交叉熵的方法训练了一个神经网络，通过反复在模拟病人身上运行，我们试图让它产生良好的反馈。」

研究人员们开发了一个深度神经网络，并在模拟环境中通过强化学习训练它来控制麻醉剂量。现在，在了解麻醉药物如何影响神经活动方面，这项研究取得了重大进展。

他们特别关注了异丙酚的用量。这是一种可以降低人们意识水平的药物，通常用于对正在接受医疗程序的病人实施全身麻醉或镇静。

根据模拟的患者数据，研究人员训练他们开发的神经网络，这些数据是基于随机参数的药代动力学/药效学模型生成的。由此，研究人员可以将样本范围扩大，研究不同类型的病人特征。

提议范例的框图表示。代理人观察到一个无意识的水平，并使用神经网络选择一个适当的药物剂量。环境代表一个模拟的病人

他们使用所谓的「交叉熵」方法进行了一系列的训练试验。

交叉熵方法是一种蒙特卡洛方法，主要用来优化和重要性采样。和进化算法类似，在空间中按照某种规则撒点，获得每个点的误差，再根据这些误差信息决定下一轮撒点的规则。交叉熵方法之所以叫这个名字，是因为该方法（从理论上来说）目标是最小化随机撒点得到的数据分布与数据实际分布的交叉熵（等价于最小化 KL 距离），尽量使采样分布（撒的点）与实际情况同分布。

在这些试验中，神经网络逐渐学会了将观察到的麻醉状态映射到可能注射的异丙酚剂量中。

当评估模型的性能时，研究人员应用了一个确定性的政策，将注射固定剂量的异丙酚的概率转换为持续的注射速度。

总的来说，他们的神经网络取得了显著的效果，比之前用于确定理想麻醉剂量的比例积分微分(PID)控制器的性能更好。

Schamberg说：「我们的方法有两个主要的优势，一是它能够缩放观察中包含的临床变量，二是深度网络在输入变量和推荐剂量之间的连续关系。深度神经网络使我们能够建立一个有许多连续输入数据的模型，因此，我们的控制策略比以前的基于表格的策略更加一致。」

在未来，这个基于深度神经网络的模型，可以帮助麻醉师确定对个别病人理想的异丙酚剂量，并达到不同程度的无意识状态。尽管如此，该模型到目前为止还只是在模拟环境中进行了测试，因此在将其应用于现实世界之前，还需要在真实患者身上进行一系列临床试验。

Schamberg说：「到目前为止，我们的方法比常用的比例-积分-导数控制器要好，而且在药物代谢和疗效方面对各种患者变异都是稳健的。我们现在很乐意在受控的临床环境中在人类身上测试这一提出的范例。」

参考链接：

https://techxplore.com/news/2020-09-deep-unconsciousness-patients-anesthetic-state.html

（声明：本文仅代表作者观点，不代表新浪网立场。）