06 ディープラーニングの応用例

画像に何が写っているかを当てる画像分類を学びます。基礎層では、画像認識にはどんなタスクがあるか、そして分類モデルが年々進化して精度を上げてきた流れをつかみます。深掘り層では、AlexNet から始まる代表モデルの系譜をそれぞれが持ちこんだしくみのレベルまでたどり、Vision Transformer までを説明できるようになります。

画像の中の物体を四角い枠で囲んで種類も当てる物体検出を学びます。基礎層では、物体検出が画像分類と何が違うのかを、身近な例でつかみます。深掘り層では、二段階で探す Faster R-CNN の系譜と、一度で探す SSD・YOLO の系譜、そして FPN による多重解像度の工夫をしくみのレベルまで説明できるようになります。

画像を画素の単位で塗り分けるセグメンテーションと、人の関節の位置を当てる姿勢推定を学びます。基礎層では、3種類のセグメンテーションの違いを身近な例でつかみます。深掘り層では、FCN・SegNet・U-Net・PSPNet・DeepLab の代表モデルと、Mask R-CNN、OpenPose のしくみまでを説明できるようになります。

コンピュータが文章を扱うために、言葉を数に置きかえる古典的な手法を学びます。基礎層では、文章をまず単語に区切り、それを数のならびにする、という流れを身近な例でつかみます。深掘り層では、形態素解析と構文解析、ワンホットベクトル・BoW・n-gram・TF-IDF のしくみと、それぞれの限界までを説明できるようになります。

テキストの数値化のレッスンの続きとして、大規模言語モデルが文章をどんな単位に区切ってから読むのかを掘り下げます。単語ごとや文字ごとに区切る素朴なやり方の困りごと、その間をとるサブワード分割、よく現れる並びを併合して語彙を作るバイト対符号化（BPE）、WordPiece や SentencePiece、そして分かち書きのない日本語の扱いまでを実装のコードは扱わず、なぜその区切り方にするのかに絞って説明します。

コンピュータが単語の意味をどう扱うのかを学びます。基礎層では、単語を意味のあるベクトルに置きかえて文章から学ぶ、という全体像をつかみます。深掘り層では、word2vec の学習のしくみ、CBOW とスキップグラム、fastText、そして静的な単語ベクトルの限界までを必要な数式も交えて説明できるようになります。

コンピュータが文章を扱う土台となる言語モデルを学びます。基礎層では、言語モデルが次の言葉を予測するしくみで、文脈に応じて意味をとらえ、まず学んでから使い回す、という全体像をつかみます。深掘り層では、CEC・ELMo・BERT・GLUE・PaLM・大規模言語モデル（LLM）を機構のレベルまで掘り下げ、スケーリング則やアライメント、Transformer 以降の新しいアーキテクチャまで、必要な数式も交えて説明できるようになります。

言語モデルのレッスンの続きとして、大量の文章を読んだだけのモデルを人の意図に沿う受け答えへと仕上げる事後学習（アライメント）を機構のレベルまで掘り下げます。指示と応答の組で仕上げる指示チューニング、人の好みを報酬にして調整する RLHF の3段階、報酬の抜け穴という落とし穴、そして報酬モデルも強化学習も使わずに好みから直接調整する DPO までを実装のコードは扱わず、なぜその順で仕上げるのかに絞って説明します。

言語モデルのレッスンの続きとして、答える前に考える手順を長く費やすことで難しい問いを解く、推論特化モデルを掘り下げます。モデルを大きくして賢くする学習時の工夫と、答えるときに考える時間を長くとる推論時の工夫という二つの向き、思考の連鎖を訓練に組み込むこと、複数の道すじを試して多数決をとる自己整合性、自分の答えを見直す自己検証までを実装のコードは扱わず、なぜ考える時間が効くのかに絞って説明します。

言語モデルを土台にした、身近な言語の仕事を学びます。基礎層では、機械翻訳・感情分析・情報検索・質問応答・文書要約が、それぞれ何をするのかの全体像をつかみます。深掘り層では、統計的機械翻訳のしくみ、意味で探すベクトル検索、検索拡張生成（RAG）と幻覚、要約や翻訳の自動評価指標（ROUGE・BLEU・BERTScore）まで掘り下げ、LLM エージェントなどの発展も説明できるようになります。

自然言語処理の応用のレッスンの続きとして、大規模言語モデルを実務で使うときの中心となる2つの発展、検索拡張生成（RAG）と LLM エージェントを学びます。モデルの外に置いた知識を検索して答えに使う RAG のしくみ、そのための文書検索とベクトル検索、幻覚への効き方、そしてモデルに道具を使わせ、手順を自分で組み立てさせる LLM エージェントとその一種である Agentic RAG までを実装のコードは扱わずに、なぜそうするのかに絞って説明します。

自然言語処理の応用のレッスンの続きとして、言葉を作るモデルの良し悪しをどう測るのかを掘り下げます。正解が一つに決まらない生成の評価がなぜ難しいのか、言葉の重なりで測る BLEU と ROUGE、意味の近さで測る BERTScore、複数の課題をまとめて測るベンチマーク、そして人手やほかのモデルに採点させるやり方とその落とし穴までを実装のコードは扱わず、それぞれが何を測っているのかに絞って説明します。

コンピュータが音声を扱う前段の、音を数値にする処理を学びます。基礎層では、音を数字の列に変え、成分に分け、声の特徴をとり出す、という流れをつかみます。深掘り層では、A-D変換とパルス符号変調器（PCM）、高速フーリエ変換（FFT）、スペクトル包絡とフォルマント、メル尺度とメル周波数ケプストラム係数（MFCC）、そして音韻と音素までをしくみのレベルで説明できるようになります。

声を文字にし、文字を声にし、誰の声かを見分ける技術を学びます。基礎層では、音声認識・音声合成・話者識別が何をするのかをつかみます。深掘り層では、隠れマルコフモデルによる音声認識の組み立て、長さのずれを乗り越える CTC、波形をじかに作る WaveNet、そして話者識別のしくみまでを説明でき、大規模な音声認識などの発展も理解できるようになります。

強化学習にディープラーニングを組み合わせた深層強化学習を学びます。基礎層では、価値を予測するはたらきをニューラルネットワークに担わせる、という考え方をつかみます。深掘り層では、DQN を安定させた経験再生と目標ネットワーク、そしてダブル DQN・デュエリングネットワーク・ノイジーネットワーク・Rainbow・APE-X・Agent57 という改良の系譜と、連続値制御の課題までを説明できるようになります。

行動を直接に選ぶ方策ベースの深層強化学習と、その実世界への応用を学びます。基礎層では、価値ベースとの違いと応用の広がりをつかみます。深掘り層では、A3C・PPO のしくみ、大規模言語モデルの調整に使われる RLHF、OpenAI Five やアルファスターの応用、そして sim2real・ドメインランダマイゼーション・オフライン強化学習・残差強化学習・状態表現学習・報酬成形・マルチエージェント強化学習という現場の工夫までを説明できるようになります。

新しいデータを作り出す生成モデルを学びます。基礎層では、訓練データに似た新しいデータを生み出す、という考え方をつかみます。深掘り層では、敵対的生成ネットワーク（GAN）とその仲間、拡散モデル、NeRF のしくみと、画像生成・音声生成・文章生成の関係を説明できるようになります。発展では、拡散トランスフォーマや潜在拡散モデルといった、いまの画像・動画生成の中核となる手法を扱います。

データ生成のレッスンの続きとして、いまの画像生成と動画生成の中心にある拡散モデルを機構のレベルまで掘り下げます。ノイズを少しずつ加える前向きの過程と、それを逆にたどって絵にする後ろ向きの過程、計算を軽くする潜在拡散、Transformer を土台にした拡散トランスフォーマ、文章で狙いを効かせる誘導、そして動画への広げ方までを実装のコードは扱わず、なぜそう作るのかに絞って説明します。製品名は時点を添えた例として挙げます。

学んだ知識を別のタスクに活かす転移学習とファインチューニングを学びます。基礎層では、大きなデータで事前に学んだモデルを手元の課題に作り替える、という考え方をつかみます。深掘り層では、事前学習・事前学習済みモデル・自己教師あり学習・半教師あり学習のしくみ、Few-shot と One-shot、そして破滅的忘却の問題を説明できるようになります。発展では、少ないパラメータで効率よく微調整する LoRA などの考え方を扱います。

転移学習とファインチューニングのレッスンの続きとして、巨大なモデルを少ない手間で目的に合わせる工夫を掘り下げます。すべての重みを学び直す全体のファインチューニングがなぜ重いのか、変化ぶんだけを小さな形で学ぶ低ランク適応（LoRA）の考え方、なぜ小さな形で足りるのか、土台を軽くして必要メモリを減らす QLoRA、そして差し替えられる部品として持てる利点までを実装のコードは扱わず、考え方に絞って説明します。

画像や言葉など複数の種類のデータをまとめて扱うマルチモーダルと、幅広い課題に使える基盤モデルを学びます。基礎層では、異なる種類のデータを結びつける、という考え方をつかみます。深掘り層では、基盤モデル・マルチタスク学習、CLIP による画像と言葉の対応づけ、DALL-E・Flamingo・Unified-IO、Image Captioning・Text-To-Image・Visual Question Answering、そして Zero-shot を説明できるようになります。発展では、いまのマルチモーダル大規模言語モデルのしくみを扱います。

マルチモーダルと基盤モデルのレッスンの続きとして、画像や音声と言葉を一つのモデルで扱うマルチモーダルLLMを掘り下げます。画像と言葉を同じ空間に結びつける対照学習（CLIPの考え方）、画像を見る部品と言葉のモデルをつなぐしくみ、画像への質問応答や説明づけといった仕事、そして幻覚や苦手なことまでを実装のコードは扱わず、なぜそうつなぐのかに絞って説明します。製品名は時点を添えた例として挙げます。

モデルの判断の理由を示す解釈性と、モデルを小さく速くする軽量化を学びます。基礎層では、なぜ中身を説明する必要があるのか、なぜ軽くする必要があるのか、という理由をつかみます。深掘り層では、説明可能 AI・CAM・Grad-CAM・LIME・SHAP・Permutation Importance という解釈の手法と、モデル圧縮・プルーニング・量子化・蒸留・宝くじ仮説・エッジ AI という軽量化の手法を説明できるようになります。

モデルの解釈性のレッスンの続きとして、なぜそう判断したのかを示す手法について、LIME・SHAP・Permutation Importance・CAM・Grad-CAM がそれぞれ何をどう測るのかまで掘り下げます。どの特徴が効いたかを示す考え方の3つの筋、画像のどこを見たかを示す考え方、そして説明そのものを鵜呑みにできない理由までを実装のコードは扱わず、それぞれが何を根拠と呼んでいるのかに絞って説明します。

モデルの解釈性と圧縮のレッスンの続きとして、大きなモデルを小さく速くする工夫について、蒸留・量子化・プルーニング・宝くじ仮説の機構のレベルまで掘り下げます。なぜ軽くしたいのか、効きの弱い結合を削るプルーニングと宝くじ仮説、数を粗くする量子化、大きなモデルの振る舞いを小さなモデルに写す蒸留、そしてこれらの組み合わせと釣り合いまでを実装のコードは扱わず、なぜ小さくできるのかに絞って説明します。