根据发表在《放射学:人工智能》杂志上的一份特别报告,随着人工智能 (AI) 在放射学中的使用越来越多,在将机器学习系统用于现实世界的临床场景之前,最大限度地减少机器学习系统中的偏差至关重要。
该报告是三部分系列的第一篇,概述了机器学习系统开发的数据处理阶段使用的次优实践,并提出了缓解它们的策略。
“在开发机器学习系统的数据处理阶段,会发生 12 种次优实践,每一种都可能使系统产生偏见,”放射学教授兼医学博士 Bradley J. Erickson 说。明尼苏达州罗切斯特梅奥诊所的人工智能实验室。“如果这些系统性偏差未被识别或无法准确量化,则会出现次优结果,从而限制人工智能在现实世界中的应用。”
Erickson 博士表示,正确处理数据的话题越来越受到关注,但关于正确管理大数据的指南却很少。
“监管挑战和转化差距仍然阻碍了机器学习在现实世界临床场景中的实施。然而,我们预计放射学 AI 系统的指数增长将加速消除这些障碍,”埃里克森博士说。“为了准备机器学习系统以供采用和临床实施,我们必须尽量减少偏见。”
在报告中,Erickson 博士和他的团队针对机器学习系统开发的四个数据处理步骤(每个数据处理步骤三个)中出现的 12 种次优实践提出了缓解策略,包括:
数据收集——数据集识别不当、数据来源单一、数据来源不可靠
数据调查——探索性数据分析不充分,没有领域专业知识的探索性数据分析,未能观察到实际数据
数据拆分——数据集之间的泄漏、不具代表性的数据集、对超参数的过度拟合
数据工程——不正确的特征删除、不正确的特征重新缩放、缺失数据的管理不善
埃里克森博士说,医学数据通常远非理想地适合作为机器学习算法的输入。
“这些步骤中的每一个都可能容易出现系统性或随机性偏差,”他说。“开发人员有责任在数据采样、去识别、注释、标签和管理缺失值等具有挑战性的场景中准确处理数据。”
根据该报告,数据收集前的仔细规划应包括对临床和技术文献的深入审查以及与数据科学专家的合作。
“多学科机器学习团队应该拥有同时具备数据科学和领域(临床)专业知识的成员或领导者,”他说。
为了开发更加异构的训练数据集,Erickson 博士和他的合著者建议从不同地理位置的多个机构收集数据,使用来自不同供应商和不同时间的数据,或者包括公共数据集。
“创建一个强大的机器学习系统需要研究人员进行侦探工作并寻找数据可能欺骗你的方式,”他说。“在你将数据放入训练模块之前,你必须对其进行分析,以确保它反映你的目标人群。人工智能不会为你做这件事。”
Erickson 博士说,即使经过出色的数据处理,机器学习系统仍然容易出现明显的偏差。放射学:人工智能系列的第二和第三篇报告侧重于模型开发和模型评估和报告阶段出现的偏差。
“近年来,机器学习已在许多临床研究领域证明了它的实用性,从重建图像和假设检验到改进诊断、预后和监测工具,”埃里克森博士说。“这一系列报告旨在识别机器学习开发过程中的错误做法,并尽可能多地减少这些做法。”
标签:
免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!