fastText

Facebook（現Meta）が開発した、単語を部分文字列（サブワード）の集合として表現する自然言語処理のモデルです。従来のWord2Vecなどの手法が単語単位でベクトル化していたのに対し、単語を構成する文字の並び（n-gram）まで考慮して学習します。

単語を分割して表現することで、未知語（Out-of-vocabulary）に対しても柔軟に対応できる強みがあります。似たような文字の並びを持つ単語同士はベクトル空間でも近く配置されるため、形態論的な変化が多い言語や、未知の単語が現れるデータセットでも高い精度で単語ベクトルを生成できます。

G検定では、単語の分散表現を生成する手法の一つとして重要です。特に、単語を単なる記号ではなく、内部構造を持つものとして捉えるアプローチとして理解しておきます。処理が軽量で高速であることも特徴であり、実用的なテキスト分類や検索システムで多用されています。