【云悦科技】深度学习用于多模态语义学习简述( 二 ) 互联网用户所创造的“内容”正在迅猛增

将深度学习应用于语义概念识别和理解时，有两种方法：（1）将深度学习得到的特征表示直接输入给判别分类模型（如支持向量机等）；（2）通过softmax函数或回归函数对输入数据、隐含层和输出层（语义标签）之间的概率分布进行建模，然后基于互信息熵最小或间隔距离最大等准则对模型进行优化。
【【云悦科技】深度学习用于多模态语义学习简述】有人的理论研究结果表明：在机器学习中，如果对模型本身的假设产生偏差，则会影响学习结果。因此，如何合理引入数据本身所具有的先验知识和结构线索，来构造和微调深层模型使之更好地处理多模态数据，是一个亟待解决的问题。因此，一些研究开始在生成式深层模型或区别式深层模型中引入数据本身所具有的先验结构，以提升特征学习的泛化能力和区别能力。有人在卷积神经网络输出端引入层次化概念树来促进关联语义所具有的共享特征的学习，有人通过非参贝叶斯假设来提高判别性语义特征学习的灵活度。为了进一步学习图像视觉对象和文本实体之间存在的组合语义，有人基于排序优化框架提出了多模态深度组合语义学习方法，不仅保持了多模态数据之间的局部相关性，也保持了其全局关联性。