05 ディープラーニングの要素技術

ニューラルネットワークが画像をどう扱うのかを学びます。基礎層では、全結合層との違いと、画像の一部分ずつを見る畳み込みのしくみをつかみます。深掘り層では、重みと線形関数、畳み込み操作のしくみ、カーネル・ストライド・パディング・特徴マップ、そして Atrous Convolution や Depthwise Separable Convolution などの発展形まで説明できるようになります。

ネットワークを深くしても学習がうまく進むように支える3つの部品を学びます。基礎層では、数値の大きさをそろえる正規化、情報をまとめて縮めるプーリング、層を飛び越える近道がそれぞれ何をするかをつかみます。深掘り層では、バッチ・レイヤー・グループ・インスタンスの各正規化、最大値・平均値・グローバルアベレージの各プーリングと不変性の獲得、そして ResNet のスキップ結合まで説明できるようになります。

文章や音声のような、順番のあるデータを扱うしくみを学びます。基礎層では、前の状態を覚えて次に引き継ぐ回帰結合層と、リカレントニューラルネットワーク (RNN) のしくみをつかみます。深掘り層では、時系列データ、BPTT による学習、長い系列でつまずく理由、ゲート機構による LSTM と GRU、双方向 RNN、エルマンネットワークとジョルダンネットワーク、教師強制まで説明できるようになります。

回帰結合層のレッスンの続きとして、長い系列を効率よく扱うために近年注目される状態空間モデルと Mamba を掘り下げます。回帰結合の速さと Transformer の見通しの良さという、それぞれの得手不得手をおさらいし、状態に情報をたたみ込みながら進む状態空間モデルの考え方、学習は並列に推論は順ぐりにという二つの顔、入力に応じて記憶を選ぶ Mamba、そして両者を組み合わせるハイブリッドまでを実装のコードは扱わず、なぜ別解が要るのかに絞って説明します。

今の大規模な言語モデルの土台になった、注目のしくみを学びます。基礎層では、関連する部分に注目する Attention と、それだけで作った Transformer のしくみをつかみます。深掘り層では、Seq2Seq の限界、クエリ・キー・バリューによる Attention の計算、Self-Attention と Source-Target Attention、Multi-Head Attention、位置エンコーディング、Transformer の全体像までを数式も交えて説明できるようになります。

Attention と Transformer のレッスンの続きとして、Transformer の内部を機構のレベルまで分解します。今の大規模言語モデルの土台を理解するために書いています。トークン埋め込みと位置符号、スケール付き内積による自己注意、マルチヘッド、フィードフォワード層、残差結合と層正規化、エンコーダとデコーダ、注意のマスク処理、そして語彙上の確率分布までを数式の意味を言葉で補いながら追います。実装のコードは扱わず、なぜそう作るのかに絞ります。

Transformer の機構のレッスンの続きとして、大きくしても計算を増やしすぎない工夫、専門家の混合（Mixture-of-Experts、MoE）を掘り下げます。すべてを使うのをやめ、入力ごとに一部だけを使うという考え方、たくさんの専門家と、どれを使うか選ぶ振り分け役、上位いくつかだけを選ぶ仕組み、なぜパラメータを増やしても計算があまり増えないのか、そして負荷の偏りという難しさまでを実装のコードは扱わず、なぜ一部だけ使うと得なのかに絞って説明します。

入力をいったん小さくまとめてから元に戻すことで、データの特徴を学ぶしくみを学びます。基礎層では、圧縮して復元するオートエンコーダのしくみをつかみます。深掘り層では、エンコーダとデコーダの機構、積層オートエンコーダ、そしてデータを生成できる変分オートエンコーダ (VAE) や、VQ-VAE・info VAE・β-VAE といった亜種まで説明できるようになります。

手元のデータを加工して水増しし、モデルを賢くするデータ拡張を学びます。基礎層では、なぜ水増しが役立つのかをつかみます。深掘り層では、Crop・Random Flip・Rotate・Contrast・Brightness といった画像の変形、Cutout・Random Erasing、Mixup・CutMix、RandAugument、noising、そして文章の paraphrasing まで説明できるようになります。