えぬぐらむ

n-gram

n-gramは、テキストを連続するn個の要素の塊として分割する手法です。文章の並びや文脈を解析するために使われ、値の大きさを変えることで、どれだけ文脈を考慮するかを調整可能です。

詳しい説明

テキストを連続するn個の文字や単語の塊として分割する手法です。自然言語処理において、文章の並びや出現パターンを解析するための最も基本的な単位として利用されます。

たとえば「自然言語処理」という文に対し、n=2（バイグラム）の場合は「自然」「言語」「処理」と分割します。nが1の場合はユニグラム、2の場合はバイグラム、3の場合はトライグラムと呼ばれます。文脈の情報をどこまで保持するかをnの大きさで制御できます。

G検定では、テキストのベクトル化や言語モデルの基礎として重要です。単語の並び順が重要な意味を持つ場合、n-gramを用いることで、単純な単語の集合として扱うよりも文脈を考慮した分析が可能になります。ただし、nを大きくするとデータの疎性が高まるという課題もあり、適切なnの設定が重要です。