超分辨率在气象领域的应用( 二 )

----超分辨率在气象领域的应用//----

  超分辨率技术 , 是将一张低分辨率的图像变为高分辨率 。 通过估算网格密集化后 , 补充缺失的像素值 。 以下是数值模式降尺度的示例 , 可以发现 , 和超分辨率相似的是 , 降尺度的过程令图像变得清晰 。


超分辨率在气象领域的应用

----超分辨率在气象领域的应用//----

  但是降尺度仅仅是超分辨率吗?

  降尺度的挑战——模拟物理过程

  降尺度的过程不仅仅是图像的精细化像素填充 , 而是涉及到多个天气元素之间相互作用的重新计算 。 下图是一个数值模式降尺度的案例 , 可以看出 , 精细化的版本中 , 出现了粗糙版本中所不包含的一些天气细节 。


超分辨率在气象领域的应用

----超分辨率在气象领域的应用//----

  这种计算过程即使用CV领域中的超分辨率技术 , 也无法重现 。 其难点的本质在于 , 从单一通道来看 , 降尺度的计算过程“生成”了额外的信息 , 而机器视觉领域的超分辨率技术 , 只可以产生细节填充 , 而没有能力生成输入图片中没有出现的信息 。 这些额外的信息 , 来自于多个天气元素的物理过程 , 这是使用超分辨率的思想来解决数值模式降尺度的巨大挑战 。

  基于对这个问题的长期研究 , 上海眼控人工智能研究院提出Deep Hybrid Super Resolution (DHSR) 模型来模拟物理过程 , 来产生额外的信息 。

  基于DHSR的AI数值模式降尺度

  前文提到 , 气象数值模式预报中的数据是网格化的气象元素如气压值等 , 而精细化的数值模式预报 , 不仅是将网格矩阵变得细腻那么简单 , 还需要考虑其他已知条件(比如湿度、温度、风场) , 并用神经网络去模拟它们之间的作用关系 。

  上海眼控人工智能研究院以超分辨率网络为主干网络 , 针对不同的数据类型调整网络中的长跳跃连接和短跳跃连接 。 用转化为图片后的某一维度的25km全球模式的气象预报和3km的对应地区和时间的降尺度数据来训练超分辨率网络 , 以捕捉这一区域该维度的25km全球模式与3km降尺度后的数据间的映射关系 。 其中针对通道的特征先进行一个空间的全局平均池化得到一个 1×1×C的通道描述;接着 , 再经过一个下采样层和一个上采样层得到每一个通道的权重系数 , 将权重系数和原来的特征相乘即可得到缩放后的新特征 , 整个过程实际上就是对不同通道的特征重新进行了加权分配 , 通过这种channel attention的机制进行特征融合 , 最终生成的气象图片很好的生成了特征的轮廓和细节部分 。

  以下是模型的部分结构


超分辨率在气象领域的应用

----超分辨率在气象领域的应用//----