#产业气象站#归一化激活层的进化:谷歌QuocLe等人利用AutoML技术发现新ML模块( 三 )


#产业气象站#归一化激活层的进化:谷歌QuocLe等人利用AutoML技术发现新ML模块
文章图片
表5:BigGAN-deep生成器中不同归一化激活层的图像合成性能 , 其中使用批统计量与不使用批统计量的层是彼此分离的 。 如图所示 , 中位数和最佳性能是在3个随机种子上取得的 。 IS值越高越好 , FID值越低越好 。
#产业气象站#归一化激活层的进化:谷歌QuocLe等人利用AutoML技术发现新ML模块
文章图片
图8:BigGAN-deep+EvoNorm-B0生成的部分图像示例 。
与只依赖一种方差的传统归一化范式不同 , EvoNorm-B0尝试在其denominator中混合两种方差 。 前者在同一mini-batch内捕捉不同图像的全局方差 , 后者则捕捉每个图像的局部方差 。
#产业气象站#归一化激活层的进化:谷歌QuocLe等人利用AutoML技术发现新ML模块
文章图片
【#产业气象站#归一化激活层的进化:谷歌QuocLe等人利用AutoML技术发现新ML模块】图9:EvoNorm-B0的计算图 。