报名 |“深度学习与统计学理论”研讨会( 二 ) 2020.11.19在当今“双循环”的大

报告摘要
深度学习近年来受到了人们的广泛关注，当前深度学习一般泛指参数化可微分构件的深度神经网络，在诸多现实任务中取得了成功，同时也带来了计算资源、人力成本、可验证性等问题。课题组近年来致力于非参深度学习的研究，其基本构建是非参数化、不可微分的随机森林模型，非参深度学习在诸多任务中取得了与深度学习相当的效果，特别对离散型学习任务往往表现出更好的效果。本报告将介绍我们最近在非参深度学习方面取得的理论初步进展，着重介绍收敛界的研究，在理论上指导非参深度模型的构建。
03 报告题目
深度学习：从理论到算法
报告嘉宾
文章插图
王立威
北京大学教授，智能科学系副主任。同时是清华大学交叉信息学院兼职教授。他的主要研究方向为机器学习理论。在顶级会议、期刊发表论文100余篇。他是TPAMI编委， NeurIPS, ICML领域主席。是首位入选AI’s 10 to Watch的亚洲学者。
报告摘要
我将介绍近期我们在深度学习理论方面的进展及其对算法设计的指导。我们首先从数学上证明，当深度网络充分宽，则从随机初始点出发，（随机）梯度下降法以很大概率能找到全局最优点，并且为线性收敛速度。基于此理论结果，我们设计了二阶优化算法——Gram-Gauss-Newton算法，用以训练深度神经网络。该算法具有二阶收敛速度，并且每次迭代的计算复杂度与SGD相仿。
04 报告题目
Progressive Principle Component Analysis for Compressing Deep Convolutional Neural Networks
报告嘉宾
文章插图
周静
中国人民大学统计学院副教授、应用统计科学研究中心研究员，北京大学光华管理学院博士，研究方向为社交网络、空间计量、模型压缩等，在Journal of Business & Economic Statistics ， Statistic Sinica ， Science China Mathematics ， Electronic Commerce Research and Applications ，管理科学，营销科学学报等国内外核心期刊发表论文十余篇，编著《深度学习：从入门到精通》教材一本，主持国自科、北社科、统计局重点等多项省部级以上课题。担任人民邮电出版社数据科学与统计·商业分析系列教材编委会委员。
报告摘要
In this work, we propose a progressive principal component analysis (PPCA) method for compressing deep convolutional neural networks. The proposed method starts with a prespecified layer and progressively moves on to the final output layer. For each target layer, PPCA conducts kernel principal component analysis for the estimated kernel weights. This leads to a significant reduction in the number of kernels in the current layer. As a consequence, the channels used for the next layer are also reduced substantially. This is because the number of kernels used in the current layer determines the number of channels for the next layer. For convenience, we refer to this as a progressive effect. As a consequence, the entire model structure can be substantially compressed, and both the number of parameters and the inference costs can be substantially reduced. Meanwhile, the prediction accuracy remains very competitive with respect to that of the baseline model. The effectiveness of the proposed method is evaluated on a number of classical CNNs (AlexNet, VGGNet, ResNet and MobileNet) and benchmark datasets. The empirical findings are very encouraging. The code is available at
End
文章插图
【报名 |“深度学习与统计学理论”研讨会】报名参加