没有使用SELU

。我们简单做了个调查，iOS和Android版本之间使用SELU导致结果与PELU非常相似。我们怀疑SELU不应该作为激活函数被单独使用，而是正如其论文的标题所暗示的那样，作为狭义（narrowly-defined）SNN架构的一部分。

使用ELU维持BN

。有许多迹象表明BN应该是不必要的，但是，在没有BN的情况下运行的每个实验都完全无法收敛。这可能是由于架构很小造成的。

在激活之前使用了BN

。虽然现在关于这一点有所争议，但他们的小型网络在激活后做BN的实验也未能收敛。

为了优化网络，使用了Cyclical Learning Rates和Brad Kenstler的Keras实现。

• 直播预告 | 埃森哲企业数字化转型论坛·两化融合深度行
• 【深度长文】规模大赚钱就是好公司？政府要推动最基础的大国重器
• 当众人夺路而跑时，不跟随——投资高手们的深度思考
• 新疆喀什伽师县发生5.5级地震 震源深度8千米
• 台湾花莲发生4.3级地震 震源深度17.7公里
• 亲人不睦，家必败！（深度好文）
• “将有温度有深度有力度的中国故事讲给非洲受众”
• 穷人在抢房，富人在抢命！（深度好文）
• 世上没有一种生气是值得的（深度好文）
• 有多少人毁在了这句话上！（深度好文）