形態素解析

語を意味の最小単位に分ける処理

形態素解析は、文を形態素に分割し、それぞれの形態素がどの種類に当たるかを明らかにする処理です。形態素とは、言語の中で意味を担う最小の単位です。形態素を研究する分野は形態論(morphology)と呼ばれます。

語がいくつかの部分から成り立っていることは、文字の単位で見れば明らかです。たとえば cats という語は、c、a、t、s の4文字でできています。ただし、語にはそれ自体がまとまった意味を持つ構成要素もあります。fox という語は fox という1つの形態素だけから成ります。一方、cats は cat と、複数を示す -s という2つの形態素から成ります。文字の並びとしての分け方と、意味の単位としての分け方は別のものです。形態素解析は後者の分け方を扱います。

英語の文を形態素に分けた例

英語の文を形態素ごとにハイフンで区切ると、次のようになります。

Doc work-ed care-ful-ly wash-ing the glass-es

worked は work と -ed に、glasses は glass と -es に分かれています。carefully は care、-ful、-ly の3つに分かれています。見た目は1つの語でも、その中に複数の意味の単位が含まれていることが分かります。

中心となる語根と、意味を加える接辞

形態素は大きく2つの種類に分けられます。1つは語根で、語の中心となり主な意味を担う形態素です。もう1つは接辞で、さまざまな種類の意味を付け加える形態素です。先の例では、worked の work が語根で -ed が接辞です。同じように、glasses の glass が語根で -es が接辞です。

接辞の2つの種類: 屈折形態素と派生形態素

接辞はさらに2つの種類に分かれます。

屈折形態素は文法的な形態素で、一致の標示のように統語上の役割を果たすことが多いものです。英語では、名詞の複数を示す -s(または -es)や、動詞の過去時制を示す -ed が屈折形態素に当たります。屈折形態素には、生産的である(多くの語に広く付く)、しばしば必須である、意味を予測しやすい、という傾向があります。

派生形態素は、どの語に付くか、付いたときにどういう意味になるかが、屈折形態素よりも個別的です。通常は特定の下位分類の語にだけ付き、付いた結果、語根とは異なる文法上の分類(品詞)の語ができます。できた語の意味を正確に予測するのは難しいことがよくあります。このように、文法上の役割を示すだけの接辞と、語の品詞まで変えてしまう接辞とを区別することも、形態素の種類を明らかにする作業に含まれます。

トークン化との関係

自然言語処理の最初の段階はトークン化です。トークン化は、テキストを単語やサブワードといった単位に分割する処理です。トークン化を理解するには、まず単語とは何かを問う必要があります。形態素の考え方は、この問いを考える手がかりになります。語は語根や接辞のような意味を持つ部分から成り立っています。そのため、テキストをどの単位で区切るかを考えるときには、語の内部にある意味の単位にも目を向けることになります。形態素解析は、この点でトークン化と深く関係しています。