コーパス

コーパスという語の意味

コーパスとは、一般に、言語処理のために集めた大量の文章などのまとまりを指します。この定義は、ここで根拠にした Jurafsky と Martin の教科書 Speech and Language Processing(第3版草稿)に定義文として書かれているものではなく、一般的な意味として補ったものです。

同書は、コーパスに関係する用語として語の型(word types)を挙げています。コーパスの中の異なる単語の集合を、語の型と呼びます。

テキストは状況に根ざしている

同書の2.5節は、私たちが調べるどんなテキストも、特定の話者や書き手が、特定の言語の特定の方言で、特定の時に、特定の場所で、特定の機能のために作ったものだと述べています。言語はこのように状況に根ざしているので、コーパスから言語処理のモデルを作るときは、誰がその言語を作ったか、どんな文脈で作ったか、何の目的で作ったかを考えることが重要だとしています。

同書は、テキストが違ってくる次元として、次のものを挙げています。

• 言語(世界には7097の言語がある)
• ジャンル(新聞、小説、科学論文、電話での会話など)
• 書き手や話し手の属性
• 時間

あわせて、言語処理のモデルを英語だけで開発し、評価する傾向があることにも注意を促しています。

datasheet と data statement

同書は、コーパスがどのような状況のテキストでできているかを示す最もよい方法として、コーパスを作った人がコーパスごとに datasheet(Gebru et al., 2020)や data statement(Bender et al., 2021)を作ることを挙げています。datasheet が書くよう求める項目は次のとおりです。

• Motivation: なぜ、誰がそのコーパスを集めたか
• Situation: テキストがいつ、どんな状況で書かれたか、または話されたか
• Language variety: どの言語か、どの方言か、どの地域のものか
• Speaker demographics: 書き手や話し手の年齢や性別など
• Collection process: コーパスの規模、標本の取り方、同意の有無、前処理、メタデータ
• Annotation process: 注釈の内容、注釈をつけた人、その人の訓練、注釈の方法
• Distribution: 著作権などの配布上の制約

ここでいう注釈(annotation)とは、テキストに対して人などが付け加える情報のことです。