综述

人工智能技术在胎儿超声心动图中的应用进展

庞程程 徐小维 潘微 张智伟

请尊重版权,未经授权禁止下载

引用格式: 庞程程,徐小维,潘微,等. 人工智能技术在胎儿超声心动图中的应用进展[J/OL]. 中华心血管病杂志(网络版),2024,7:e1000169(2024‑07‑31). http://www.cvjc.org.cn/index.php/Column/columncon/article_id/349. DOI:10.3760/cma.j.cn116031.2024.1000169.

复制引文
发布日期: 2024/08/01    浏览量: 2011 次

登录后方可查看全文,无账号可以前往注册

版权归中华医学会所有。
未经授权,不得转载、摘编本刊视频资料。
除非特别声明,本刊刊出的所有视频及资料不代表中华医学会和本刊编委会的观点。
目录
视频
人工智能技术在胎儿超声心动图中的应用进展
04:07
音频
人工智能技术在胎儿超声心动图中的应用进展
04:04

引言


先天性心脏病(以下简称先心病)是最常见的出生缺陷,我国活产新生儿中先心病发病率约8.98‰,其中危重症先心病占2.93‰[1],是婴幼儿死亡最主要的原因之一。胎儿超声心动图是目前产前诊断先心病最重要手段之一,准确性约为85%[2]。但受到胎儿和母体因素、超声医师技术水平和仪器分辨率等影响,获取高质量的胎儿超声心动图仍面临很大挑战,导致胎儿心脏异常检出率存在地域差异。美国一项研究结果显示,社区医院先心病产前检出率仅为34%[3];而另外一些研究显示先心病产前检出率低至14%[4‑5]。产前漏诊或误诊先心病可能导致预后不良的先心病胎儿出生或危重先心病患儿得不到及时救治,造成不良预后。

近10年来,随着算法的发展、大数据时代的来临和计算机硬件技术的成熟,人工智能技术在医学图像识别处理中取得了飞速发展,并逐步应用于临床[6]。但在产科超声尤其是胎儿超声心动图领域,人工智能研究仍处于起步阶段。本文将从胎儿心脏图像获取和切面识别、图像质量控制和优化、解剖结构分割、参数自动测量、筛查和诊断胎儿心脏病和结局预测等方面对人工智能技术在胎儿超声心动图的应用进行综述,并探讨人工智能技术在胎儿心脏病产前诊断中的应用前景。

人工智能的定义


人工智能是研究、开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用系统的一门新的技术学科。截至2020年5月,美国食品药品监督管理局及欧盟已批准50多项人工智能技术在医学成像领域的应用,涵盖X线、CT、磁共振成像、视网膜光学相干断层扫描及超声影像[7]。

机器学习是人工智能一个重要组成部分,通过计算机学习,利用复杂的算法可快速、准确和高效地分析大量复杂的数据。机器学习分为监督学习、无监督学习和半监督学习。目前在医疗研究中70%采用监督学习模式,30%采用无监督学习和半监督学习模式[8]。

深度学习是机器学习的一个重要类型,是一种人工神经网络算法,能够处理更大、更复杂的数据集,学习并优化自身性能,常见方法包括卷积神经网络(convolutional neural network, CNN)和循环神经网络(recurrent neural network, RNN)等。

人工智能技术在胎儿超声心动图中的应用


随着人工智能技术的快速发展,各种算法被广泛应用于胎儿超声心动图的各领域(图1)。

一、胎儿心脏图像获取和切面的识别
获取超声图像是超声检查第一步。由于孕周、胎位等不同,导致检查孕妇的体表部位、胎儿心脏位置和切面的情况存在不同,从而影响胎儿心脏病的诊断。胎儿心脏图像自动化识别和存储有助于获取高质量图像,提高检查效率和胎儿心脏病检出率。随着四维超声在胎儿心脏检查中的应用,时空关联成像技术(spatio‑temporal image correlation, STIC)以四腔心切面为初始切面,通过三维容积探头采集容积数据后,经过后处理可以获得胎儿9个心脏标准切面。此后将胎儿超声心动图智能导航技术(fetal intelligent navigation echocardiography, FINE)应用于STIC数据集,实现后处理过程自动化。研究证明,FINE是一种可靠且易于学习的方法,可以改善胎儿心脏病检查效率,但该方法仍需人工寻找特定心脏标准切面,不是一种基于机器学习的智能方法[9‑10]。

随着人工智能技术的发展,目前已构建出多种针对胎儿心脏的智能识别模型,可以从超声静态和视频图像中自动寻找标准切面。Baumgartner等[11]纳入孕期18~22周的2 694个二维超声心动图切面数据,提出使用CNN筛选标准切面,自动识别和分类胎儿心脏四腔心、左心室流出道、右心室流出道、三血管(肺动脉主干、升主动脉及上腔静脉)切面及其他非心脏切面,研究结果显示采用这种自动识别和分类的方法的准确性可达90.09%。Arnaout等[12] 纳入孕期18~24周的107 823张胎儿超声心动图影像切面,开发了基于CNN的集成学习模型,自动识别四腔心、左心室流出道、三血管、三血管气管(肺动脉、主动脉、气管、上腔静脉)及腹部横切面,筛查正常胎儿心脏和复杂先心病,结果显示这种模型的敏感度为95%,特异度为96%,阴性预测值高达100%,证明这种模型在自动识别和筛查正常胎儿心脏和复杂先心病的能力与临床医师相当。

二、胎儿心脏图像质量控制和优化
除了图像采集,图像质量也是准确诊断胎儿心脏病的前提。胎儿心脏体积小、切面多,超声图像质量涉及多个因素。既往超声图像质量评估由人工完成,评价标准不一,在不同观察者之间结果存在差异,且需较大工作量,因此,采用人工智能技术对超声图像进行自动评估具有重要价值。Dong等[13]提出由3个网络组成的框架模型对胎儿四腔心切面进行质量评估,首先使用CNN对原始数据进行粗略分类;然后使用深度卷积神经网络以多任务学习方式确定目标图像的增益和放大倍率,并进行分级;最后使用聚类残差视觉网络检测切面上的关键解剖结构,得到四腔心切面的总体定量评分,从而实现全自动的胎儿心脏图像质量控制。Litjens等[14]总结了既往生成对抗网络(generative adversarial networks,GANs)对成人心脏超声图像进行分析的研究,结果显示GANs能够减少图像噪声和伪影,优化图像质量。Qiao等[15]提出一种基于GANs的融合生成对抗网络,并用生成对抗损失函数对其进行优化,提取胎儿四腔心草图的解剖结构信息,合成具有噪声、伪影等超声特征的胎儿四腔心切面,为进一步构建机器学习模型和提供高质量胎儿心脏图像奠定基础。

三、胎儿心脏解剖结构分割
胎儿心脏解剖结构分割是胎儿心脏病筛查及诊断的基础,准确分割胎儿心脏解剖结构,定量分析胎儿心脏体积和形状,可以帮助临床医师识别胎儿心脏异常,诊断胎儿先心病和评估胎儿心功能。随着人工智能技术进步,目前提出了几种医学图像分割方法,如全卷积神经网络(full convolutional neural network, FCN)、扩张卷积神经网络、U‑Net、SegNet、PSPNet和DeepLab (v1~v3+)等[15]。Xi等[16]提出了一种融合U‑Net框架和注意机制的高效多尺度模型对胎儿超声图像中的心和肺进行分割,实现了提取图像多尺度特征、补偿高分辨率信息和剔除与任务无关的特征。由DCN和W‑Net两个模块组成的级联DW‑Net模型克服了胎儿超声心动图斑点噪声、伪影、边界缺乏和解剖结构相似性等问题,在识别正常胎儿心尖四腔心切面和分割7个重要解剖结构方面具有良好的性能 [17]。此后,一种基于实例的分割框架可以在正常或先心病胎儿的心尖四腔心切面准确地分割左、右心室和左、右心房,并采用注意力机制实例分割网络的3个分支,纠正实例的错误分类[18]。Dozen等[19]提出了裁剪‑分割‑校准分割方法,克服了胎儿室间隔细而长且随胎儿心跳而变化的问题,实现对微小心脏结构的分割。Qiao等[20]引入一种基于改进YOLOv4模型的智能特征学习检测系统,并整合多阶段残余混合注意模块,分割准确度为0.919,速度为43 帧/s。

四、胎儿心脏参数的自动测量
胎儿超声心动图检查需要进行胎儿生物学测量、胎儿心脏及大血管内径测量,以及各瓣膜、血管血流速度测量等,目前一些医用超声仪器生产厂家逐步开发图像的自动化测量软件并装载入超声仪器中,但尚未实现自动化图像采集和测量相结合。目前胎儿生物学指标自动化测量的研究较多,包括在超声视频图像中自动识别切面、自动分割并测量相应的指标。近期Arroyo等[21]、Ashkani等[22]、Płotka等[23]发表了胎儿生物学指标自动测量的文章,研究采用深度学习CNN,测量结果与经验丰富的超声医师的测量结果非常接近,实现了胎儿生物学指标的图像识别和测量相结合。在胎儿超声心动图中,Sulas等[24]提出了一种FCN分割方法,可以自动识别胎儿心脏脉冲多普勒频谱,分辨频谱中的E、A、V峰,有助于胎儿心律失常的识别。Yu等[25]研究发现反向传播神经网络可以用于预测胎儿左心室容积,评估胎儿左心室功能(每搏输出量和左心室射血分数),与人工评估具有较高的一致性。

五、筛查和诊断胎儿心脏病
筛查和诊断胎儿心脏病,是人工智能技术应用于胎儿超声心动图检查的最终目标。利用CNN,Komatsu等[26]开发了一种监督正常视频数据集的架构,在心脏区域连续的横切面扫描中检测心脏结构、标记异常,该架构有2种输出结果:一种是类似条形码的时间线,可视化显示视频的异常分数;另一种是完整视频的异常评分,类似条形码的时间线,可以帮助超声医师捕捉病例的临床特征,促进医疗人工智能向“可解释人工智能”的发展。Gong等[27]提出了一种DGACNN模型,旨在实现从视频采集到解释的全自动化,使用无监督视频迁移学习来识别先心病,同时使用该研究提出的DANomaly分类网络进一步提高性能,该模型胎儿先心病的识别率达85%,接近胎儿心脏病专家的水平。Nurmaini等[28]使用多任务深度学习模型,使图像分类、分割和检测同时进行,对胎儿心脏图像进行多次分析,结果显示该模型在胎儿心脏标准切面分割及间隔缺损类先心病检测方面表现良好,患者内和患者间的准确性分别为98.30%和82.42%。Arnaout等[12]提出一种神经网络的集合,首先使用监督模型对5个胎儿心脏切面进行识别,分为“正常”或“异常”解剖结构,进而检测心房、心室、主动脉、肺动脉的大小、结构及这些结构之间的关系来判断是否存在复杂先心病,结果显示这种模型的敏感度和特异度均为95%,准确性达到胎儿心脏病专家的水平。近期,Tang等[29]基于胎儿主动脉弓长轴切面,开发了一种DDCHD‑DenseNet的两阶段深度迁移学习模型,用于检出动脉导管依赖型先心病,该模型在图像质量不同的数据集上训练算法,通过迁移学习技术,提高模型处理不同图像质量数据集的能力,该模型在多中心测试集上均表现出较高的敏感度和特异度,分别为97.3%和98.5%,接近胎儿心脏病专家的水平。

六、胎儿心脏病的结局预测
采用人工智能技术预测胎儿心脏病结局的研究较少且具有挑战性。目前报道了一些胎儿相关领域的研究,有可能为将来预测胎儿心脏病结局的研究提供指导。Nguyen Van等[30]分析了宫内生长受限患者近10年的数据,通过结合动态血压、动态心电图、临床指标以及社会经济状况参数设计了一种分类算法,该算法可以评估胎儿宫内生长受限的风险,其准确性高达94.73%。胎心监护是一种妊娠和分娩期胎儿健康状态的无创评估方式,人工判定结果在观察者内部和观察者之间存在高度变异性。Zhao等[31]提出了采用深度卷积神经网络框架对胎儿心率模式进行分类。通过变换的连续小波实时观察和捕捉胎儿心率在时间和频率方面的特征信息,通过这些信息评估胎儿的心率变化是否与酸中毒有关,辅助产科医师进行临床决策。

展望及挑战


近年来,人工智能技术在心血管健康和产科超声等多个相关领域开展了成功的研究,人工智能技术与临床工作相结合将大幅提高临床医师工作效率 [32‑33]。由于胎儿超声心动图检查不是常规产科检查,专业性要求高,仅在大型综合医院或妇产专科医院开展,图像数量非常有限,因此人工智能技术在胎儿超声心动图研究领域的发展仍面临训练数据不足的问题。虽然迁移学习可以提高数据集的处理能力,减少训练集数量,但仍需确保算法的准确性和可靠性。多中心协作增加数据集数量,在有胎儿超声心动图检查资质的医疗中心建立公共数据库,增加胎儿心脏病病种及数量将更好地提升人工智能研究在胎儿超声心动图的开展。

人工智能涉及的医学伦理问题也需要引起关注。首先,医院和医师是否应该对人工智能应用程序和决策负责?人工智能应用程序提供的信息可用于临床管理、诊断和治疗,其算法也可能出错,此时出现的医疗责任属于临床医师还是算法的创造者,需要医疗监管机构、医疗专业人士、法律专业人士和人工智能开发人员共同重视,制定相应的法律法规,寻找解决办法。在人工智能技术完善及相应权责问题解决办法出现之前,人工智能仍需在临床医师的监督之下作为医疗决策的辅助手段。

小结


人工智能技术在胎儿心脏图像的上述领域中取得了重要进展,在先心病筛查及改善预后方面具有巨大潜力。但是,目前人工智能在该领域的发展仍受到图像数据缺乏、胎儿心脏超声图像特殊性、各种法律和伦理问题的限制,只有通过建立公共数据库、提高计算机能力和算法、加强医工合作和建立健全的法律法规,才能不断推动人工智能技术在胎儿超声心动图领域的发展,使人工智能技术早日应用于临床,成为胎儿心脏病筛查及诊断的常规工具。
  • 作者: 庞程程 1    徐小维 2    潘微 1    张智伟 3   

  • 作者单位: 南方医科大学附属广东省人民医院(广东省医学科学院)心脏母胎医学科 1    南方医科大学附属广东省人民医院(广东省医学科学院)医学研究部 2    南方医科大学附属广东省人民医院(广东省医学科学院)心儿科 3   

  • 通信作者: 张智伟,Email:drzhangzhiwei@sina.com

  • 关键词: 超声心动描记术;胎儿;人工智能

  • DOI: 10.3760/cma.j.cn116031.2024.1000169

  • 基金项目: 广州市科技计划项目(2023 B03J0596)

  • 利益冲突: 无

  • 收稿日期: 2024-02-29

  • 录用日期: 2024-07-18

  • 本文编辑: 常青云,史红

  • 摘要中文

    无

    摘要英文

    无

    微信截图_20240801134039.png

    本研究主要材料与器材

    无

    参考文献

    [1] Zhao QM, Liu F, Wu L, et al. Prevalence of congenital heart disease at live birth in China[J]. J Pediatr, 2019,204:53‑58. DOI: 10.1016/j.jpeds.2018.08.040.
    [2] Pang C, Wang Y, Shen J, et al. Echocardiographic characteristics and clinical outcomes in fetuses with pulmonary stenosis or pulmonary atresia with intact ventricular septum[J]. Pediatr Neonatol, 2023:S1875‑9572(23)00176‑00176. DOI: 10.1016/j.pedneo.2023.05.010.
    [3] Rahi A, Scott DG, Elizabeth CA, et al. Association of US state implementation of newborn screening policies for critical congenital heart disease with early infant cardiac deaths[J]. JAMA, 2017, 318(21):2111‑2118. DOI: 10.1001/jama.2017.17627.
    [4] Bakker MK, Bergman J, Krikov S, et al. Prenatal diagnosis and prevalence of critical congenital heart defects: an international retrospective cohort study[J]. BMJ Open, 2019, 9(7):e028139. DOI: 10.1136/bmjopen‑2018‑028139.
    [5] Meller CH, Grinenco S, Aiello H, et al. Congenital heart disease, prenatal diagnosis and management[J]. Arch Argent Pediatr,2020,118(2):e149‑e161. DOI: 10.5546/aap.2020.eng.e149.
    [6] Xu X, Jia Q, Yuan H, et al. A clinically applicable AI system for diagnosis of congenital heart diseases based on computed tomography images[J]. Med Image Anal, 2023,90:102953. DOI: 10.1016/j.media.2023.102953.
    [7] Drukker L, Noble JA, Papageorghiou AT. Introduction to artificial intelligence in ultrasound imaging in obstetrics and gynecology[J]. Ultrasound Obstet Gynecol, 2020, 56(4):498‑505. DOI: 10.1002/uog.22122.
    [8] Cai A, Zhu Y, Clarkson SA, et al. The use of machine learning for the care of hypertension and heart failure[J]. JACC Asia,2021,1(2):162‑172. DOI: 10.1016/j.jacasi.2021.07.005.
    [9] Garcia M, Yeo L, Romero R, et al. Prospective evaluation of the fetal heart using Fetal Intelligent Navigation Echocardiography (FINE)[J]. Ultrasound Obstet Gynecol, 2016, 47(4):450‑459. DOI: 10.1002/uog.15676.
    [10] Yeo L, Luewan S, Romero R. Fetal intelligent navigation echocardiography (FINE) detects 98% of congenital heart disease[J]. J Ultrasound Med, 2018, 37(11):2577‑2593. DOI: 10.1002/jum.14616.
    [11] Baumgartner CF, Kamnitsas K, Matthew J, et al. SonoNet: Real‑time detection and localisation of fetal standard scan planes in freehand ultrasound[J]. IEEE Trans Med Imaging, 2017, 36(11):2204‑2215. DOI: 10.1109/TMI.2017.2712367.
    [12] Arnaout R, Curran L, Zhao Y, et al. An ensemble of neural networks provides expert‑level prenatal detection of complex congenital heart disease[J]. Nat Med, 2021, 27(5):882‑891. DOI: 10.1038/s41591‑021‑01342‑5.
    [13] Dong J, Liu S, Liao Y, et al. A generic quality control framework for fetal ultrasound cardiac four‑chamber planes[J]. IEEE J Biomed Health Inform, 2020, 24(4):931‑942. DOI: 10.1109/JBHI.2019.2948316.
    [14] Litjens G, Ciompi F, Wolterink JM, et al. State‑of‑the‑Art deep learning in cardiovascular image analysis[J]. JACC Cardiovasc Imaging, 2019, 12(8 Pt 1):1549‑1565. DOI: 10.1016/j.jcmg.2019.06.009.
    [15] Qiao S, Pan S, Luo G, et al. A pseudo‑siamese feature fusion generative adversarial network for synthesizing high‑quality fetal four‑chamber views[J]. IEEE J BIOMED HEALTH,2023, 27(3):1193‑1204. DOI:10.1109/JBHI.2022.3143319.
    [16] Xi J, Chen J, Wang Z, et al. Simultaneous segmentation of fetal hearts and lungs for medical ultrasound images via an efficient multi‑scale model integrated with attention mechanism[J]. Ultrason Imaging, 2021, 43(6):308‑319. DOI: 10.1177/01617346211042526.
    [17] Xu L, Liu M, Shen Z, et al. DW‑Net: A cascaded convolutional neural network for apical four‑chamber view segmentation in fetal echocardiography[J]. Comput Med Imaging Graph, 2020,80:101690. DOI: 10.1016/j.compmedimag.2019.101690.
    [18] An S, Zhu H, Wang Y, et al. A category attention instance segmentation network for four cardiac chambers segmentation in fetal echocardiography[J]. Comput Med Imaging Graph,2021,93:101983. DOI: 10.1016/j.compmedimag.2021.101983.
    [19] Dozen A, Komatsu M, Sakai A, et al. Image segmentation of the ventricular septum in fetal cardiac ultrasound videos based on deep learning using time‑series information[J]. Biomolecules, 2020, 10(11):1526. DOI: 10.3390/biom10111526.
    [20] Qiao S, Pang S, Luo G, et al. FLDS: An intelligent feature learning detection system for visualizing medical images supporting fetal four‑chamber views[J]. IEEE J Biomed Health Inform, 2022, 26(10):4814‑4825. DOI: 10.1109/JBHI.2021.3091579.
    [21] Arroyo J, Marini TJ, Saavedra AC, et al. No sonographer, no radiologist: New system for automatic prenatal detection of fetal biometry, fetal presentation, and placental location[J]. PLoS One, 2022, 17(2):e0262107. DOI: 10.1371/journal.pone.0262107.
    [22] Ashkani CV, Ghelich OM, Shabanzadeh A, et al. Fast and accurate u‑net model for fetal ultrasound image segmentation[J]. Ultrason Imaging, 2022, 44(1):25‑38. DOI: 10.1177/01617346211069882.
    [23] Płotka S, Klasa A, Lisowska A, et al. Deep learning fetal ultrasound video model match human observers in biometric measurements[J]. Phys Med Biol, 2022, 67(4):045013. DOI: 10.1088/1361‑6560/ac4d85.
    [24] Sulas E, Ortu E, Raffo L, et al. Automatic recognition of complete atrioventricular activity in fetal pulsed‑wave doppler signals[J]. Annu Int Conf IEEE Eng Med Biol Soc, 2018,2018:917‑920. DOI: 10.1109/EMBC.2018.8512329.
    [25] Yu L, Guo Y, Wang Y, et al. Determination of fetal left ventricular volume based on two‑dimensional echocardiography[J]. J Healthc Eng, 2017,2017:4797315. DOI: 10.1155/2017/4797315.
    [26] Komatsu M, Sakai A, Dozen A, et al. Towards clinical application of artificial intelligence in ultrasound imaging[J]. Biomedicines,2021,9(7):720. DOI: 10.3390/biomedicines9070720.
    [27] Gong Y, Zhang Y, Zhu H, et al. Fetal congenital heart disease echocardiogram screening based on DGACNN: Adversarial one‑class classification combined with video transfer learning[J]. IEEE Trans Med Imaging, 2020, 39(4):1206‑1222. DOI: 10.1109/TMI.2019.2946059.
    [28] Nurmaini S, Rachmatullah MN,Sapitri AI. Accurate detection of septal defects with fetal ultrasonography images using deep learning‑based multiclass instance segmentation[J]. IEEE Access,2020,8:196160‑196174. DOI: 10.1109/ACCESS.2020.3034367.
    [29] Tang J, Liang Y, Jiang Y, et al. A multicenter study on two‑stage transfer learning model for duct‑dependent CHDs screening in fetal echocardiography[J]. NPJ Digit Med, 2023, 6(1):143. DOI: 10.1038/s41746‑023‑00883‑y.
    [30] Nguyen Van S, Lobo Marques JA, Biala TA, et al. Identification of latent risk clinical attributes for children born under IUGR condition using machine learning techniques[J]. Comput Methods Programs Biomed, 2021,200:105842. DOI: 10.1016/j.cmpb.2020.105842.
    [31] Zhao Z, Deng Y, Zhang Y, et al. DeepFHR: intelligent prediction of fetal Acidemia using fetal heart rate signals based on convolutional neural network[J]. BMC Med Inform Decis Mak, 2019, 19(1):286. DOI: 10.1186/s12911‑019‑1007‑5.
    [32] 陈彬, 严雨霖, 杜海雯, 等. 人工智能在产科超声中的应用进展[J]. 医学综述, 2022, 28(14):2903‑2907. DOI: 10.3969/j.issn.1006‑2084.2022.14.034.
    [33] 泮思林, 罗刚. 医学人工智能在胎儿超声心动图中的应用前景[J]. 中国实用儿科杂志, 2020, 35(11):850‑853. DOI: 10.19538/j.ek2020110607.
    无
    发表评论文明上网理性发言,请遵守互动礼仪
    您需要先 登录 后方可发表评论。
    • 全部评论
    • /
    • 我的评论
    • 最新
    • /
    • 最热