発展：トークナイゼーション（サブワード分割とBPE）

テキストの数値化のレッスンの続きとして、大規模言語モデルが文章をどんな単位に区切ってから読むのかを掘り下げます。単語ごとや文字ごとに区切る素朴なやり方の困りごと、その間をとるサブワード分割、よく現れる並びを併合して語彙を作るバイト対符号化（BPE）、WordPiece や SentencePiece、そして分かち書きのない日本語の扱いまでを実装のコードは扱わず、なぜその区切り方にするのかに絞って説明します。