最適化アルゴリズム：賢い谷の下り方

勾配降下法をより賢くする最適化アルゴリズムを学びます。基礎層では、まっすぐ下るだけでは行き詰まることがあり、勢いや歩幅を工夫することをつかみます。深掘り層では、局所最適解・大域最適解・鞍点という行き詰まりの正体と、モーメンタム・AdaGrad・AdaDelta・RMSprop・Adam・AdaBound・AMSBoundという手法の系譜を説明できるようになります。