きょうしきょうせい
教師強制
学習時、前の出力ではなく正解データを次の入力として与える手法です。RNNなどの系列モデルにおいて、学習を安定させ早期に収束させるために用いられます。
詳しい説明
教師強制は、ニューラルネットワークの学習時、特にRNNなどの系列データを扱うモデルにおいて、前のステップの出力ではなく、実際の正解ラベルを次のステップの入力として与える手法です。これにより、学習初期のモデルが誤った出力を出し続けても、正しい方向に修正しながら学習を進めることが可能になります。
仕組みとしては、学習時には正解データを強制的に入力し続けることで、モデルは安定的に学習できます。しかし、推論時には正解データがないため、モデル自体の出力を使って次の予測を行うことになります。このため、学習時と推論時でモデルへの入力データの性質が異なるという乖離が生まれ、性能に影響することがあります。
G検定では、系列データの学習アルゴリズムにおける重要なテクニックとして理解が求められます。この手法の利点だけでなく、学習と推論の乖離という課題についても、RNNやSeq2Seqに関連する知識として押さえておく必要があります。
試験で問われること
G検定
- 学習時に正解データを強制的に入力として与える手法です。
- RNNなどの系列データ学習の安定化に寄与します。
- 学習時と推論時の乖離が発生する点に注意が必要です。