[AI科技大本营]深度残差收缩网络：借助注意力机制实现特征的软阈值化( 二 ) 作者|哈尔滨工业大学（威海）讲师赵明

其次，对于任意的两个样本，它们的噪声或冗余含量经常是不同的。换言之，有些样本所含的噪声或冗余要多一些，有些要少一些。这就要求我们在设计算法的时候，应该使算法具备根据每个样本的特点、单独设置相关参数的能力。
在上述两点的驱动下，我们能不能将传统信号降噪算法中的软阈值函数引入深度残差网络之中呢？软阈值函数中的阈值应该怎样选取呢？深度残差收缩网络就给出了一种答案。
2.2实现
深度残差收缩网络融合了深度残差网络、SENet和软阈值函数。如下图所示，深度残差收缩网络就是将残差模式下的SENet中的“重新加权”替换成了“软阈值化” 。
在SENet中，所嵌入的小型网络是用于获取一组权值系数；在深度残差收缩网络中，该小型网络则是用于获取一组阈值。

文章图片
为了获得合适的阈值，相较于原始的SENet ，深度残差收缩网络里面的小型网络的结构也进行了调整。具体而言，该小型网络所输出的阈值，是（各个特征通道的绝对值的平均值）×（一组0和1之间的系数）。
通过这种方式，深度残差收缩网络不仅确保了所有阈值都为正数，而且阈值不会太大（不会使所有输出都为0）。
如下图所示，深度残差收缩网络的整体结构与普通的深度残差网络是一致的，包含了输入层、刚开始的卷积层、一系列的基本模块以及最后的全局均值池化和全连接输出层等。

文章图片
2.3优势
首先，软阈值函数所需要的阈值，是通过一个小型网络自动设置的，避免了人工设置阈值所需要的专业知识。
然后，深度残差收缩网络确保了软阈值函数的阈值为正数，而且在合适的取值范围之内，避免了输出全部为零的情况。
同时，每个样本都有自己独特的一组阈值，使得深度残差收缩网络适用于各个样本的噪声含量不同的情况。

文章图片
结论
由于噪声或者冗余信息是无处不在的，深度残差收缩网络，或者说这种“注意力机制”+“软阈值函数”的思路，或许有着广阔的拓展空间和应用范围。
论文链接：
https://www.paperweekly.site/papers/3397
代码链接：
https://github.com/zhao62/Deep-Residual-Shrinkage-Networks
【end】
对存在潜伏期的新冠肺炎，快速分析其传染关系及接触关系，积极采取隔离、观察和治疗措施是非常有利的防控疫情的科学防控依据。
周四（明晚）20点，我们一起来看SophonKG如何追寻新冠病毒轨迹，运用AI技术、工具建立相关知识图谱，通过确诊案例的亲属、同事和朋友的关系网找出密切接触者进行及时隔离，同时刻画出确诊案例的活动轨迹，找到其关系网之外的密切接触者及病毒可能的“行凶环境” 。

文章图片
推荐阅读
百万人学AI：CSDN重磅共建人工智能技术新生态
154万AI开发者用数据告诉你，中国AI如何才能弯道超车？
技术大佬的肺腑之言：“不要为了AI而AI”！|刷新CTO
悼念前端大牛司徒正美
业内最大的“空气币”——以太坊？
Spark3.0发布了，代码拉过来，打个包，跑起来！
你点的每个“在看” ，我都认真当成了AI