テキストの数値化と古典的手法:言葉を数に置きかえる
コンピュータが文章を扱うために、言葉を数に置きかえる古典的な手法を学びます。基礎層では、文章をまず単語に区切り、それを数のならびにする、という流れを身近な例でつかみます。深掘り層では、形態素解析と構文解析、ワンホットベクトル・BoW・n-gram・TF-IDF のしくみと、それぞれの限界までを説明できるようになります。
コンピュータが文章を扱うために、言葉を数に置きかえる古典的な手法を学びます。基礎層では、文章をまず単語に区切り、それを数のならびにする、という流れを身近な例でつかみます。深掘り層では、形態素解析と構文解析、ワンホットベクトル・BoW・n-gram・TF-IDF のしくみと、それぞれの限界までを説明できるようになります。