ばーと

BERT

Bidirectional Encoder Representations from Transformers

Transformerのエンコーダー構造を利用した自然言語処理モデルです。

詳しい説明

BERTは、Googleが開発した自然言語処理モデルであり、Transformerというアーキテクチャのエンコーダー部分を活用しています。最大の強みは、文章を左から右、右から左へと両方向から同時に文脈を学習できる点にあります。

従来の言語モデルは文章を片方向からしか読めないものが多かったため、文脈の深い理解が困難でした。BERTは双方向の学習により、単語が置かれた位置や周囲の言葉との関係を精緻に捉えることができ、質問応答や文書分類といった様々なタスクで飛躍的な精度向上を実現しました。

G検定では、自然言語処理の最新技術として必ず理解しておくべき用語です。特に、転移学習モデルの一種として、事前学習済みモデルを微調整して利用するファインチューニングの手法とセットで覚えることが推奨されます。