机器学习数学知识结构图：机器学习数学知识结构图点

原标题：机器学习数学知识结构图
点击上图，查看课程教学大纲
【机器学习数学知识结构图】早在2018年和2019年， SIGAI微信公众号先后发布过“机器学习算法地图” ， “深度学习算法地图” ，对机器学习、深度学习的知识脉络进行了梳理与总结，帮助大家建立整体的知识结构。这两张知识结构图的纸质版发行量和电子版下载量已经超过10万，有不少高校的机器学习课程还特地讲到了这两张图。在今天这篇文章里，我们将对机器学习的数学知识进行总结，画出类似的结构图。由于数学知识体系太过庞大，因此我们分成了整体知识结构图，以及每门课的知识结构图。
整体结构
先说整体结构。在机器学习中所用到的主要有微积分、线性代数、概率论、最优化方法、信息论、随机过程、图论这几门数学课的知识。它们之间的关系如下图所示。

文章图片
在这里，一元函数微积分，线性代数与矩阵论是最基础的知识，也是其他课程的先修课程。其中多元函数微积分是一元函数微积分向多元函数的推广，且使用了线性代数与矩阵论的知识。
最优化方法（连续优化问题，这里不考虑随机优化等特殊的算法）以多元函数微积分为基础，梯度下降法、牛顿法、拟牛顿法等数值优化算法的推导，以及拉拉格朗日乘数法等解析优化算法的推导与证明，均使用了多元函数微积分的知识。
概率论以微积分和线性代数为基础，导数、积分在这里被大量地使用。信息论与随机过程都是概率论的延伸，要学好它们，必须先掌握概率论。
图论中使用了线性代数的知识，比如邻接矩阵，普图理论中的拉普拉斯矩阵等。在机器学习中，它还与概率论结合，诞生了概率图模型这种模型。
对于机器学习中具体用到了哪些数学知识，我们之前写过一篇文章，这里给出一个更全面的总结，供大家参考，如下表所示。这里没有列出机器学习理论（如PAC理论， VC维等）所需要的数学知识。

文章图片
微积分
微积分由一元函数微积分、多元函数微积分两部分构成，它是整个高等数学的基石。通常情况下，机器学习需要得到一个函数（模型，或者说假设），既然是函数，那自然就离不开微积分了。微积分为我们研究函数的性质，包括单调性、凹凸性、以及极值提供了理论依据。同时它也是学习概率论、信息论、最优化方法等后续课程的基础。
在机器学习中，最应该被记住的微积分知识点是下面的两张图。第一张图是微分学：

文章图片
微分学中最应该被记住的是链式法则和泰勒公式。后者是理解在机器学习中使用最多的梯度下降法、牛顿法、拟牛顿法等数值优化算法推导的基础，前者为计算各种目标函数的导数提供了依据。借助于雅克比矩阵，多元函数的链式法则有简介而优雅的表达，多元函数反函数求导公式可以与一元函数反函数求导公式达成形式上的统一。借助于梯度、Hessian矩阵以及向量内积、二次型，多元函数的泰勒公式与一元函数的泰勒公式可以达成形式上的统一。
第二张图是积分学：

文章图片
积分学中最关键的是积分换元公式，借助于雅克比行列式，可以与一元函数定积分的换元公式达成形式上的统一。积分换元公式在后面的概率论（如概率分布变换，逆变换采样算法），信息论（如多维正态分布的联合熵）等课程中有广泛的应用，务必要掌握。
线性代数
接下来看线性代数。线性代数对于机器学习是至关重要的。机器学习算法的输入、输出、中间结果通常为向量、矩阵。使用线性代数可以简化问题的表达，用一个矩阵乘法，比写成多重求和要简洁明了得多。线性代数是学习后续数学课程的基础。它可以与微积分结合，研究多元函数的性质。线性代数在概率论中也被使用，比如随机向量，协方差矩阵。线性代数在图论中亦有应用-如图的邻接矩阵，拉普拉斯矩阵。在随机过程中同样有应用-如状态转移矩阵。下面的图列出了线性代数的核心知识结构：