発展：専門家の混合（Mixture-of-Experts）

Transformer の機構のレッスンの続きとして、大きくしても計算を増やしすぎない工夫、専門家の混合（Mixture-of-Experts、MoE）を掘り下げます。すべてを使うのをやめ、入力ごとに一部だけを使うという考え方、たくさんの専門家と、どれを使うか選ぶ振り分け役、上位いくつかだけを選ぶ仕組み、なぜパラメータを増やしても計算があまり増えないのか、そして負荷の偏りという難しさまでを実装のコードは扱わず、なぜ一部だけ使うと得なのかに絞って説明します。