文章汇总：融合BN加速推理、BERT推理加速实践、pytorch C++前端推理模型以及ReZero: 使用加权残差连接加速深度模型收敛
2020-04-04
2 min read
📚融合BN加速推理
批归一化（Batch Normalization）因其可以加速神经网络训练、使网络训练更稳定，而且还有一定的正则化效果，所以得到了非常广泛的应用。但是，在推理阶段，BN层一般是可以完全融合到前面的卷积层的，而且丝毫不影响性能。
参考文章：深度学习推理时融合BN,轻松获得约5%的提速
代码：keras的暂时没有找到，有空可以写写
📚BERT推理加速实践
主要基于Faster Transformer，参考文章：
📚pytorch C++前端推理模型
使用libtorch C++前端来推理复杂模型，可能会用到。参考文章：嫌python慢？来这里用pytorch C++前端推理模型
📚ReZero: 使用加权残差连接加速深度模型收敛
论文标题：ReZero is All You Need: Fast Convergence at Large Depth
论文作者：Thomas Bachlechner, Bodhisattwa Prasad Majumder, Huanru Henry Mao, Garrison W. Cottrell, Julian McAuley
论文链接：https://arxiv.org/abs/2003.04887
代码链接：https://github.com/majumderb/rezero
简单来说对残差进行了加权并初始化权重为0来加快网络收敛速度。思路比较清晰，可证明也work，具体参考文章ReZero: 使用加权残差连接加速深度模型收敛