発展:言語モデルの評価(BLEU・ROUGE から人手・AI採点まで)
自然言語処理の応用のレッスンの続きとして、言葉を作るモデルの良し悪しをどう測るのかを掘り下げます。正解が一つに決まらない生成の評価がなぜ難しいのか、言葉の重なりで測る BLEU と ROUGE、意味の近さで測る BERTScore、複数の課題をまとめて測るベンチマーク、そして人手やほかのモデルに採点させるやり方とその落とし穴までを実装のコードは扱わず、それぞれが何を測っているのかに絞って説明します。
自然言語処理の応用のレッスンの続きとして、言葉を作るモデルの良し悪しをどう測るのかを掘り下げます。正解が一つに決まらない生成の評価がなぜ難しいのか、言葉の重なりで測る BLEU と ROUGE、意味の近さで測る BERTScore、複数の課題をまとめて測るベンチマーク、そして人手やほかのモデルに採点させるやり方とその落とし穴までを実装のコードは扱わず、それぞれが何を測っているのかに絞って説明します。