范德比尔特大学医学中心的一个研究小组对手术患者与其医疗团队之间的电子消息线程感兴趣,测试了某些常用的机器学习算法如何根据临床决策的复杂性对此类交换进行分类。他们的报告先于《外科研究杂志》印刷版发布在网上。
作者指出,医疗保险等医疗保健支付者在确定服务费用时考虑了医疗决策的复杂性。
作者写道:“如果有效,自动消息分析可能会量化在线提供的护理或支持在线护理的计费。”它可以帮助做出人员配置决策,并且“可能有助于[消息]分类”。
两名外科医生兼研究人员根据医疗决策的复杂性独立标记了 500 个线索,并讨论任何分歧,就每个线索的标签达成共识:简单、低、中等和无决定。(事实证明,该集合中没有高度复杂的线程。)
该团队测试了两种标准多类机器学习算法与此专家分类的匹配程度,一种是随机森林分类器,另一种是多项式朴素贝叶斯分类器。每个线程都在 450 个标记线程上进行训练和验证,然后在其余 50 个线程上进行测试。准确度以精确度(即检索到的真阳性与检索到的真阳性和假阳性之和的比率)和召回率(即比率)来衡量检索到的真阳性数与集合中的所有阳性数的比值。
在他们的集合的四个标签中,即简单、低、中等或无临床决策复杂性,分数为 1.0 表示完美,该团队的两个机器学习模型的最佳性能是精确度为 0.58,召回率为 0.63。
“虽然它们的表现远远优于第三个程序,该程序通过简单地添加每个消息线程中的医学术语数量来对复杂性进行分级,但如果没有更多数据和进一步分析,当前训练的两种机器学习算法都不能被认为足以用于临床使用,”该研究的主要作者、生物医学信息学系研究员 Lina Sulieman 博士说。“这项研究的细节中有几项发现可以帮助我们改进这种类型的自动化分析。”
Sulieman 和其他人之前的研究使用机器学习根据患者消息中表达的一般需求类型(医疗、后勤、信息等)对传入的患者消息进行分类。根据作者的说法,这似乎是自动对消息进行排序的首次尝试根据临床决策复杂性进行线程。
根据这项研究,VUMC 的患者门户网站 My Health at Vanderbilt(研究中使用的线程的来源)在典型的一个月内收到来自患者和家人的大约 30,000 条消息。
标签:
免责声明:本文由用户上传,如有侵权请联系删除!