自然言語処理

1. 定義

自然言語処理とは、人間が日常の意思疎通に用いる自然言語を、コンピュータに解析や処理や生成を行わせる一連の技術の総称です。

人間にとって文章の理解は容易ですが、コンピュータにとっては単なる記号の並びに見えています。自然言語は文脈によって多義性を持ったり、主語や前提が省略されたり、語順に揺れが生じたりします。コンピュータに対して文の区切りや文脈ごとの意味を明確に認識させ、意図通りの形式に変換する処理が自然言語処理の核となります。

実務の開発では、検索エンジンの高度化、カスタマーサポートの自動応答、大量の社内文書の要約や情報抽出などで広く自然言語処理が活用されています。実務者がつまずきやすい点として、表記揺れや専門用語の扱い、文脈の取り違えによる誤回答の発生が挙げられます。現在の標準的な手法では、事前学習を施した大規模な基盤モデルを土台に据え、特定の業務用途に合わせて指示文の工夫や追加学習を行うアプローチが主流となっています。

2. 内訳

自然言語処理は、基礎的な解析手順、単語の数値化手法、言語モデルの構造、応用の4つに整理できます。

• 基礎的な解析手順: 解析処理は、形態素解析、構文解析、意味解析、文脈解析の順で段階的に進みます。形態素解析は文章を意味を持つ最小単位に区切って品詞を判定します。構文解析は区切られた単語同士の修飾関係を調べます。意味解析は文の正確な意味内容を確定し、文脈解析は前後の文を含めた文全体のつながりを把握します。
• 単語の数値化手法: コンピュータが計算できるように単語を数値表現へ変換します。単語の頻度に基づくTF-IDFなどの手法のほか、単語の意味的な近さを多次元の幾何学的位置で表す分散表現があります。分散表現の代表例としてword2vecが挙げられます。
• 言語モデルの構造: 系列データを扱うニューラルネットワークは、RNNやLSTMから注意機構を中心とするTransformerへ発展しました。Transformerを土台にして事前学習を行ったBERTやGPTが実用化され、パラメータ数を劇的に増やした大規模言語モデルへ発展しています。
• 応用領域: 機械翻訳、文書分類、感情分析、固有表現抽出、質問応答、自動要約など、多岐にわたるタスクが存在します。

3. 紛らわしい語との違い

形態素解析と構文解析は、処理の順に続くため混同されがちですが、着目する対象が異なります。形態素解析は文章を意味の最小単位に区切って品詞を判定するのに対し、構文解析は区切られた単語同士の修飾関係や係り受けを調べます。

BERTとGPTの違いも整理が必要です。BERTは文章の前後双方向の文脈を参照し、マスクされた単語を予測する自己符号化モデルとして学習します。一方、GPTは文頭から順に次の単語を予測する自己回帰モデルとして学習します。前者は文意の理解や分類タスクに向き、後者は文章の自動生成タスクに適しています。