言語モデルの発展：BERT から大規模言語モデルへ

コンピュータが文章を扱う土台となる言語モデルを学びます。基礎層では、言語モデルが次の言葉を予測するしくみで、文脈に応じて意味をとらえ、まず学んでから使い回す、という全体像をつかみます。深掘り層では、CEC・ELMo・BERT・GLUE・PaLM・大規模言語モデル（LLM）を機構のレベルまで掘り下げ、スケーリング則やアライメント、Transformer 以降の新しいアーキテクチャまで、必要な数式も交えて説明できるようになります。