[論文] Identity Mappings in Deep Residual Networks
概要 Abstrct
深層殘差網路不管在預測準確度以及收斂速度上都有著非常好的表現。在這篇論文中,作者們從前向及反向的信息傳播分析中,提出了將 shortcut connection 以及相加後的 activation 均使用恆等映射 (identity mapping) ,信息能夠藉由前後向傳播在 block 間進行傳遞。這篇論文中,利用一系列的「消融實驗」( ablation experiments )1來確定這些恆等映射的重要性。