多模态融合注记( 二 ) 多模态机器学习MultiModalMachin

文章插图
实验中交叉验证结果表明，多模态特征融合方法与仅单独使用图像数据或问卷数据的机器学习方法相比，分类准确率有了明显提升。
2.3多模态融合下长时程肺部病灶良恶性预测
文章插图
针对同一病人从早期到确诊的 CT 影像，分别提取肺结节图像的传统特征与深度特征（双模态），利用一个两层神经网络进行相关性融合；然后选取不同时期的肺结节多模态特征融合向量，利用长短期记忆网络研究各时期特征向量的变化趋势及关系，利用双向长短期记忆模型预测长时程下肺部病灶的演化趋势并确定其良恶性。
通过构建一个双层神经网络实现特征融合：输入层为传统特征与深度特征的串接，通过学习隐藏层的权值得到融合后的特征。隐藏层的节点数为融合特征的维数。
文章插图
2.4 基于随机化融合和CNN的多模态肺部肿瘤图像识别
文章插图
使用三个不同的医学影像数据集，视为三个不同的模态信息，共同执行肺部肿瘤图像识别：
（１）利用改进的Lenet-5网络模型实现对多模态肺部肿瘤图像并行地特征提取；（２）利用随机化函数对并联的多模态特征进行融合，重建同一维度的目标特征；（３）添加全连接层和分类层对网络进行回归训练，从而得到分类结果。
在step3中，采用随机化融合方法实现特征融合：
通过对CNN模型的微调，将构造好的三个单模态CNN全连接层的192维特征向量、相对应的权值和偏置分别提取出来，利用随机函数
文章插图
将特征向量、对应的权重及偏置分别进行随机化融合，同时遵循对应位置不变的融合规则。
文章插图
随机化特征融合过程：分别代表不同模态的特征矩阵，分别表示某一行的特征向量，分别代表对应于的权值，分别表示某一行对应的权值．在随机化融合过程中，根据同一随机化原则，将和进行对应位置融合，随机化融合后得到与之前同样大小的融合矩阵，再将融合后的矩阵与权值输入激活函数中，得到分类结果。