沈定刚教授:深度学习在医学影像分析中的应用丨2018医学影像AI经典演讲回顾(二)(12)

另一个应用场景是帮助医生来看肺部图像。先用人工智能助理检查一遍,没有问题的图像可以排在最后面,有问题的图像放在最前面,医生就可以先看有问题的图像。特别是医生早晨刚来的时候,他非常清醒,所以他犯错误的可能性非常小,后面的他可以不看,即使他看的话,由于疲惫导致犯错所带来的影响也不大。现在我们的算法精度已经很高,远超同行。

刚才说到,在计算机视觉里面,你可以画一个包的轮廓,计算机会给你生成一个你喜欢的包,这个技术在医疗领域也有很多应用。这里左边是核磁共振(MRI)的图像,右边是CT图像。CT可以清晰显示人体组织在每个位置的密度,这对放射治疗非常有用。但是,如果要知道射线打进去涉及哪些地方,CT图像里面有很多软组织是显示不清楚,而MRI可以把软组织看得很清楚。如何把两者结合起来?无需既做一个CT又做一个MRI,而是从MRI中估计出像真实CT的图像。

我们可以比较用GAN从MRI生成的CT图像跟真实的CT图像,可以看出它们差异很大。如何把它做得更好?可以用Context-Aware GAN。例如,用第一个已训练的GAN,可以把MRI生产一个CT图像,但效果不太好;我们可以用这个生产的CT加上MRI训练第二个GAN,然后把它用到MRI上,生成新的CT图像;这样可以继续下去,最后得到一个高质量的CT图像。