推定・検定と、学習を支える数学

ねらい

このレッスンでは、データから答えを引き出す2つの考え方を学びます。1つは、データに最もよく当てはまる値を選ぶ推定（すいてい）です。もう1つは、見えた差が本物か、それともたまたまかを見分ける検定（けんてい）です。人工知能は、データから最もふさわしい値を学び取り、その結果が偶然でないかを確かめます。だから、この2つが土台になります。

前半の基礎層では、当てはめと検定という2つの考え方をつかみます。前提となる数学の知識がなくても、ここは読み切れます。

後半の深掘り層では、当てはめの代表である最尤法と最小二乗法、検定の入り口である帰無仮説と対立仮説に、数式も言葉で読み下しながらふみこみます。さらに発展として、機械学習の学習を支える微分と勾配の基礎まで触れます。こちらは、ある程度の知識のある人に向けた発展です。

基礎

データに最もよく当てはまる値を選ぶ推定と、見えた差が偶然かどうかを見分ける検定の考え方を見ます。

1. データに最もよく当てはまる値を選ぶ、推定

手元のデータから、いちばんもっともらしい値を選び出すことを推定といいます。

たとえば、あるコインを100回投げて、表が60回出たとします。このコインの「表が出やすさ」をいくつと見積もるのが最もよいでしょうか。素直に考えれば、100回中60回だったのだから、表が出やすさは0.6くらいだ、と見当がつきます。この「観察された結果に最もよく合う値を選ぶ」という営みが、推定です。

推定は、限られたデータから、その裏にある本当の値を言い当てようとする試みです。人工知能の学習も、その多くは推定です。大量のデータに最もよく当てはまるように、モデルの中の値を選んでいるからです。

2. 差が本物か、偶然かを見分ける検定

もう1つの考え方が検定です。検定は、見えた差が意味のある本物の差か、それとも偶然のばらつきかを見分けます。

薬の例で考えます。飲んだ人のほうが少し早く治ったとしても、人によって治りの早さはもともとばらつきます。だから、たまたまそうなっただけかもしれません。検定は、「もし薬に効果がなかったとしたら、これほどの差がたまたま出ることはどれくらいありそうか」を考えます。そんな差が偶然で出ることはめったにない、といえるなら、薬には効果がありそうだと判断します。

検定は、思いこみで「効いた」と決めつけないための、慎重な手続きです。人工知能でも、ある工夫が性能を上げたのか、それとも測り方のばらつきなのかを見分けるときに、この考え方を使います。

ここまでの要点

• 推定とは、手元のデータに最もよく当てはまる値を選び出すことです。
• 検定とは、見えた差が本物か、それとも偶然かを見分けることです。

まずは全体像をつかめれば十分という人は、ここで区切って大丈夫です。「データから最も合う値を選ぶのが推定、差が偶然でないかを確かめるのが検定」と押さえていれば、この先の深掘りに進む土台はできています。

発展

ここからは、推定の代表である最尤法と最小二乗法、検定の入り口である帰無仮説と対立仮説をくわしく見ます。数式も少し使いますが、記号は必ず言葉で読み下します。

3. 観察された結果を最ももっともらしくする、最尤法

推定の代表的な考え方が、最尤法（さいゆうほう）です。最尤法は、「観察されたデータが最も起こりやすくなるような値」を選ぶ方法です。

ここで、ある値を仮に置いたとき、手元のデータがどれくらい起こりやすいかを表す度合いを尤度（ゆうど）といいます。「尤」は、もっともらしい、という意味の字です。尤度が大きいほど、その値のもとでは、実際に見えたデータが起こりやすいことになります。

コインの例で確かめます。表が出やすさを0.6と置いたときと、0.5と置いたときとで、100回中60回という結果の起こりやすさを比べます。すると、0.6と置いたときのほうが、この結果は起こりやすくなります。こうして、尤度がいちばん大きくなる値を選ぶのが最尤法です。尤度を最も大きくする値を探す、という意味で「最尤」と呼びます。

理解の確認

最尤法は、観察されたデータが最も起こりやすくなるような値を選ぶ、推定の方法です。ある値のもとでデータがどれくらい起こりやすいかを尤度といい、その尤度が最も大きくなる値を選びます。

4. ずれの二乗を最も小さくする、最小二乗法

もう1つの代表的な推定が、最小二乗法（さいしょうにじょうほう）です。散らばった点に直線を当てはめるときに、よく使われます。

考え方はこうです。当てはめた直線と、実際のデータ点とのあいだには、上下のずれがあります。このずれをすべての点について二乗して足し合わせます。二乗は、前のレッスンで見たように、プラスとマイナスのずれが打ち消し合わないようにするための工夫です。この二乗したずれの合計が、いちばん小さくなるように直線を選ぶのが最小二乗法です。

式で書くと、ずれの二乗の合計 ＝ Σ（ 実際の値 − 直線が示す値 ）の二乗となり、この合計が最小になる直線を選びます。Σ は総和を表す記号で、「すべての点について足し合わせる」と読みます。ずれの二乗の合計を最小にする、という名前のとおりの方法です。線形回帰を学んだレッスンで、データに直線を当てはめる、と学びました。あの当てはめを支えているのが、この最小二乗法です。データにいちばんよりそう直線をずれの二乗の合計という1つのものさしで選び出します。

理解の確認

最小二乗法は、当てはめた直線と実際のデータ点とのずれを二乗して足し合わせ、その合計が最も小さくなるように直線を選ぶ方法です。線形回帰で直線を当てはめる計算を支えています。

5. 検定の出発点、帰無仮説と対立仮説

第2節で見た検定をもう少し正確に組み立てます。検定は、2つの仮説を立てることから始めます。

1つ目は帰無仮説（きむかせつ）です。帰無仮説とは、「差はない」「効果はない」という、否定したい側の仮説です。薬の例なら、「薬に効果はない」が帰無仮説です。「無に帰す」という字のとおり、打ち消されることを見こんで立てる仮説です。

2つ目は対立仮説（たいりつかせつ）です。対立仮説とは、帰無仮説と対立する、本当に主張したい側の仮説です。薬の例なら、「薬に効果はある」が対立仮説です。

検定は、まず帰無仮説が正しいと仮に認めます。そのうえで、実際に見えたような差が、偶然でどれくらい起こりうるかを調べます。もし、そんな差が偶然で起こることはめったにない、といえるなら、帰無仮説は苦しくなります。そこで帰無仮説を捨て、対立仮説のほうを採ります。反対に、偶然でも十分ありうる差なら、帰無仮説は捨てません。回りくどく見えますが、思いこみを避けて慎重に結論を出すための道すじです。

理解の確認

帰無仮説は「差はない・効果はない」という否定したい側の仮説、対立仮説はそれと対立する主張したい側の仮説です。検定では、まず帰無仮説を仮に認め、見えた差が偶然ではめったに起こらないといえるとき、帰無仮説を捨てて対立仮説を採ります。

学習を支える、微分と勾配

最後に、これまでの推定と、ディープラーニングの学習をつなぐ数学に触れます。微分と勾配です。学習目標にある「最適化に必要な数学基礎知識や微分」の土台にあたります。

第3節と第4節では、尤度を最も大きくする、ずれの二乗の合計を最も小さくする、という「最も」を求めていました。この「最も大きい・最も小さい」を見つける道具が、微分（びぶん）です。微分とは、ある量が、もとになる値を少し動かしたときに、どれくらいの傾きで変わるかを表すものです。坂道の傾きだと考えると分かりやすくなります。

傾きが0になるところ、つまり平らになったところが、山の頂上や谷の底にあたります。ずれの二乗の合計が谷の底になる場所を探せば、それが最小二乗法の答えです。傾きを手がかりに、山の頂上や谷の底を探すのが、微分を使った最適化です。

量が複数あるときは、それぞれの向きへの傾きをまとめて考えます。この、最も急に増える向きと、その急さをまとめたものを勾配（こうばい）といいます。勾配は、いわば坂を登るときのいちばん急な向きです。反対向きにたどれば、最も急に下る道になります。

ディープラーニングの学習では、モデルのまちがいの大きさを谷に見立て、勾配をたどって谷を下っていきます。この方法は勾配降下法と呼ばれ、くわしくは第4章のディープラーニングの概要で学びます。ここでは、微分と勾配が「最も」を探すための道具であり、機械学習の学習を支えている、という土台をつかんでください。

理解の確認

微分は、もとの値を少し動かしたときの変わり方の傾きを表し、傾きが0になる場所が山の頂上や谷の底にあたります。勾配は、量が複数あるときの、最も急に増える向きとその急さをまとめたものです。ディープラーニングの学習は、まちがいの大きさを谷に見立て、勾配をたどって下る方法で行われます。

理解度の確認