为什么深度学习是非参数的？作者丨ThomasViehmann编译丨钱磊编

文章图片
作者丨ThomasViehmann
编译丨钱磊
编辑丨陈彩娴
今天我想要与大家分享的是深度神经网络的工作方式，以及深度神经与“传统”机器学习模型的不同之处。我的计划具体如下：
首先简单地思考一下如何将问题设置成分类的形式；
接下来回顾偏差-方差分解，并在偏差-方差权衡的背景下，在VC-维数和非参数上进行探讨；
研究一些关于插值神经网络和双下降的文献；
在文末做一个非常简单的实验，用图形直观地讲解为什么双下降现象会发生。
1
正式设置一个机器学习问题
为了有些趣味，让我们先设置一个问题。
首先从数据开始。假设我们标记了数据，即是满足Px,y分布的输入数据x（比如图片）和标签y 。
如此一来我们得到：
分布Px,y固定且未知。对于i=1……N来说，可获得样本, 。
数学分析通常假设样本是独立的。
通常来说，我们需要假设标签y和输入x间有y=的函数关系，即是说，标签是精确的、没有歧义的，但并非总是如此。
我们想要“训练”的是某些函数f:xy ，或者说是更普遍地估计条件分布P(y∣x) 。我们的候选函数来自于参数集F={fθ∣θ∈Θ} ，在这里θ代表参数。
为了达成目标，我们设定了损失函数（或风险函数），从概念上讲，我们希望将预期损失最小化。
第一次尝试通常是将经验风险或者经验损失最小化。如果我们的损失函数是负对数似然，将最最小化就意味着计算最大相似估计。
【为什么深度学习是非参数的？】对偏差-方差分解和偏差-方差平衡的简单介绍
对于最小二乘损失L=(f(x)?y)2（最基本的回归估计量）来说，把预期损失分解成几个部分是很容易的。其诀窍在于，我们需要意识到我们的训练数据本身是一个从n次乘积分布中采得的随机变量，且我们训练的模型f依赖于D ，记作。通过巧妙地添加并利用(x,y)和D的独立性，我们可以将预测的期望平方误差分解为：

文章图片
最后一项噪音并不依赖于我们的模型。
现在为了得到我们预测的良好的预期平方误差，我们必须注意到模型输出的偏差(第一项)和方差(第二项)的和很小。注意这里所有的项都是非负的。
针对二元分类器的预期精度，其实存在着类似但更复杂的分解，但其他损失函数通常很难分解，尽管我们可以想象那样的模型选择的工作也是类似的。
因为让偏差/方差等于0或非常接近0都相对容易，这样分解会让我们在偏差和方差间做出权衡：通过使用D中每个数据点的样本均值作为估计，偏差可以非常小，且能巧妙地给出正则性论证来假设函数是Lipschitz函数或至少是一致连续。这就是极端的过拟合。通过预测不依赖于D的函数，比如，我们可以让方差为0 ，这样则是极端的欠拟合。
请注意，均方误差的偏差-方差分解是一个根据数学定理(或至少一个引理)成立的方程，所以是普遍适用的，不需要任何条件。
2
从僵化中解脱出来，带来自由的结构
从某种程度上说，从上述极端情况转向更温和的条件也表明了我们在实践中可以做些什么。
增加候选函数的集合
一种方法是，以一组非常严格的函数作为候选函数，然后有意义地扩大候选函数的空间，以获得(假设是嵌套的)序列F0?F1?….关键想法是，进一步研究可以让模型更好地适应数据，而我们则须知道何时停止这种深入。 Vapnik和Chervonenkis的结构风险最小化原理就是这么做的，尽管该原理没有使用偏差-方差分解，而是使用了预期损失(风险)与D上的观察损失(经验风险)的边界，和一个依赖于训练数据集大小N和函数集的大小或其VC维的项。此处的典型情况是，一个人想要N≥VC-dim个样本，却可能有N≤20VC-dim个样本。但请注意，这里参数的数量不是标准的一部分(但可能会影响VC维) 。
最后，传统标准比如赤池信息量准则尝试告诉你应该“投资”多少参数来达到低的负对数可能性。但是Bishop在其引言中发现，这些方法并不是很有效。
非参数估计:正则化
经典的非参数估计从另一个极端开始。如果我们取某个函数空间,如在里有弱导数的索伯列夫函数空间(无论采用何种测度，是x的分布抑或是包含输入的的勒贝格测度) ，我们可以匹配任意有限样本D上每一点的样本均值，从而可以获得0点态偏差,但是最小化经验风险是病态的，有无限多的解。