正規化層・プーリング層・スキップ結合：学習を助ける部品

ネットワークを深くしても学習がうまく進むように支える3つの部品を学びます。基礎層では、数値の大きさをそろえる正規化、情報をまとめて縮めるプーリング、層を飛び越える近道がそれぞれ何をするかをつかみます。深掘り層では、バッチ・レイヤー・グループ・インスタンスの各正規化、最大値・平均値・グローバルアベレージの各プーリングと不変性の獲得、そして ResNet のスキップ結合まで説明できるようになります。