アノテーション

言語データの注釈としての定義

Bird と Libermanの論文 'A Formal Framework for Linguistic Annotation'(2000年)は、言語学的な注釈(linguistic annotation)を、言語の生データに付ける記述的または分析的な表記すべてと定義しています。基になるデータは、音声・映像・生理的な記録のように時間とともに変わるものでも、テキストでもよいとされています。

この論文が定義しているのは、あくまで言語データへの注釈です。画像など言語以外のデータへのラベル付け全般や、機械学習の教師あり学習で使うラベル付けを定義したものではありません。一般には、アノテーションという語は機械学習の学習データに正解ラベルを付ける作業を指して使われることもありますが、これは根拠の定義とは範囲が違う、一般的な意味での使い方です。

注釈の種類として挙げられている例

論文は、付ける表記の例として次のものを挙げています。

• 書き起こし: 音声などの内容を文字や記号に書き表したものです。論文は、音声の特徴から談話の構造まで、あらゆる種類の書き起こしを含むとしています。
• 品詞タグ付け: 文中の各単語に、名詞や動詞といった品詞の情報を付けることです。
• 語義のタグ付け: 複数の意味を持つ単語について、その場面でどの意味で使われているかを付けることです。
• 構文解析: 文がどのような構造で組み立てられているかを分析したものです。
• 固有表現の特定: 文中の人名・地名・組織名のような固有の名前を見つけ出すことです。
• 共参照の注釈: 文章の中で同じものを指している別々の表現(たとえば名前とそれを受ける代名詞)を結び付けることです。

注釈の過程を記録する

言語データを集めて整理したものをコーパスと呼びます。Jurafsky と Martinの教科書 'Speech and Language Processing'(第3版草稿)は、コーパスの作り手がコーパスごとにdatasheetという説明書きを作るべきだとしています。その項目の一つが注釈の過程です。どんな注釈があるか、注釈をした人の属性は何か、その人たちをどう訓練したか、データをどう注釈したかを記すものとされています。つまり、注釈そのものだけでなく、誰がどのように付けたかも、データを説明する情報として扱われています。