虽然目前有十几个获批用于乳腺癌筛查的人工智能系统,但很难客观地评估它们的临床表现。然而,现在有一个瑞典验证平台可以比较人工智能系统检测乳腺癌迹象的能力——它的开发是由卡罗林斯卡学院的研究人员领导的。
该试点项目于 2021 年启动,该平台已于去年准备好进行试用。到目前为止,它已被用于根据来自瑞典三个地区的约 40,000 张乳房 X 线照片开始评估三个不同公司的算法。
“评估可能在临床上使用的 AI 算法的诊断准确性非常重要,”项目负责人、卡罗林斯卡学院肿瘤病理学系研究员、卡罗林斯卡大学医院放射科医生 Fredrik Strand 说。“即使它们符合监管要求,也不意味着它们在所有情况下都有效。”
在发表在《医学影像学杂志》上的一篇论文中,研究人员描述了他们是如何设计该平台的,希望更多的团队能够开发出类似的平台。
实现人工智能系统的客观评估
Fredrik Strand说:“通过让我们的代码可以免费访问,我们希望它能用于实施类似的平台,用于对除乳腺癌以外的其他类型的癌症进行算法评估,”他补充说,人们热切期待这种客观评估。该国的几个地区已经在考虑开始使用 AI 进行乳房 X 光检查。
“迫切需要一个可以在当地相关条件下评估算法的系统,”他说。“重要的是,每家医院都选择适合其要求和特定情况的正确系统,以避免遗漏乳腺癌或召回过多的健康女性。”
目前还没有针对指定数据集的既定评估程序来评估 AI 算法在医学诊断中的准确性。人工智能系统的制造商已经在不同的数据集上训练和测试了他们的算法,这些结果用于监管批准。在该平台中,所有算法都处理相同的图像,并将结果与从国家乳腺癌质量登记册 (NKBC) 中提取的实际癌症诊断数据进行比较,揭示算法之间的差异。由于今天的 AI 算法已经针对开发人员可以访问的特定人群进行了训练,因此它们可能包含应该识别的偏差。
标签:
免责声明:本文由用户上传,如有侵权请联系删除!