統計的自然言語処理

出現確率から言葉の規則性を学習する

統計的自然言語処理は、大量のテキストデータから単語や文法の出現確率を計算し、その統計的規則性に基づいて文章の解析や生成を行う手法です。

人間が手作業で辞書や文法規則を作る代わりに、コンピュータがコーパスと呼ばれるテキストの集まりを集計して言葉の規則性を学習します。「晴れたから洗濯物を」という文字列の次に「干す」が続く確率を、過去の膨大なテキストにおける出現回数から算出します。入力された文章に対して、最も確率が高い品詞の並びや翻訳文を出力することが、この手法の基本的な仕組みです。

ルールベース機械翻訳との違い

ルールベース手法では、人間が手作業で文法規則や辞書を記述します（ルールベース機械翻訳を参照）。この手法は例外的な表現や表記揺れに対応しにくく、ルールの衝突が発生しやすい弱点がありました。統計的自然言語処理は、データから自動で確率規則を学習するため、人間の記述コストを抑えつつ曖昧な文脈にも柔軟に対応できます。

ディープラーニング手法との違いと継承

統計的自然言語処理は、単語の表面的な出現頻度を直接数える手法が中心でした。そのため、文脈が長くなると計算量が急増する問題や、学習データに存在しない単語の組み合わせを扱えないゼロ頻度問題に直面しました。現代のディープラーニング手法は、単語を連続的なベクトル空間に埋め込み、ニューラルネットワークで長距離の依存関係を捉えます。ただし、単語の出現確率を計算して言語をモデル化するという根本的な思想は、現代の大規模言語モデルにも継承されています。