本文へ移動

どろっぷあうと

ドロップアウト

ニューラルネットワークの学習時に、一部のニューロンをランダムに無効化する過学習対策手法です。特定のノードへの過度な依存を防ぎ、汎化性能を高める効果があります。

詳しい説明

ドロップアウトとは、ニューラルネットワークの学習時に、特定の割合でランダムにニューロンを無効化(選択を停止)しながら学習を進める手法です。これにより、特定のニューロンに依存しすぎた学習を防ぎ、過学習を抑制します。

仕組みとしては、学習のステップごとに無効化するニューロンがランダムに入れ替わります。結果として、ネットワーク内の複数のノードが協調して特徴を捉えるようになり、一部の重みが過度に最適化されることを防ぎます。テスト時は全ノードを有効にして推論を行います。

G検定では、過学習対策として必須の知識です。他の過学習対策(L1/L2正則化など)と並んで出題されます。ディープラーニングにおいてモデルの汎化性能を向上させるために広く使われる重要なテクニックとして、目的と効果を整理しておいてください。

試験で問われること

G検定

  • 学習時にニューロンをランダムに間引く手法であると理解する
  • 目的は過学習の抑制であり、汎化性能を高めることである
  • 推論時にはすべてのニューロンを使用する点に注意する