沈定刚教授:深度学习在医学影像分析中的应用丨2018医学影像AI经典演讲回顾(二)( 十 )

除了研究脑结构之外,还可以研究脑连接(脑区之间的连接)和脑功能。有了这一系列的投入和十年的研究积累,我们才可以做刚才提到的增强智能。虽然现在有很多初创公司,但还没有一个初创公司碰这种复杂的脑图像分析,特别是小孩脑图像的分析。

我们做了一系列的研究,研究如何把图像分割开来,如何把左右脑分开。重建的脑表面有很多洞,我们也可以用人工智能(Deep Learning)的方法做自动纠正。皮层里面有内表层和外表层,如何把它翻开来,然后把整个脑子里面分成很多的区域,每个区域有不同的功能。比如说海马是管我们记忆的,老了以后,我们的记忆丧失了,因为海马萎缩了;这里面不同的颜色表示不同的脑区域。在这个应用中,给你一个三维的脑图像,我们需要用三维的方法把相应的区域识别出来;有时需要用四维甚至五维方法。例如功能图像,每过1秒采集一副功能图像,里面的每个位置测量相应的血样成分,这时候的图像是四维图像。分析四维图像,比分析二维或三维图像更复杂。另外,若要知道脑结构变化与病变的关系,和医生的合作非常重要,这是非常复杂的研究,而我这里只讲了一个分割问题。

如果你感兴趣的话,所有具体的方法都可以在我给出的论文中找到,而我只介绍一下概念。做脑图像分割,首先我们把图像分割成脑液体和脑组织,这个脑组织包括白质和灰质。很重要的一点,所谓的Deep Learning,我们必须要把它和临床信息结合起来。早晨有人问到,Deep Learning已经很流行了,是不是传统方法就没用了?如果你把前面二三十年已经研究得很好的传统技术和Deep Learning结合,其效果会有很大提高。同样,如做分割只是把脑子里的脑组织和脑液体分割开来,分割完了之后,再训练第二个神经网络,这样可以精细地把白质和灰质分开来。要做到这样非常精细的分割结果,需要很多的积累。如果只是用现有的方法,就只能看到刚才杂乱无章的结果。