大域最適解

大域最適解とは

大域最適解(global optimum)とは、損失関数全体を通して損失が最も低くなる点のことです。言い換えると、モデルにとって最良の重みとバイアスの組み合わせです。損失を最小にする問題として見るときは、大域的な最小値(global minimum)とも呼ばれます。

この重みとバイアスを使ったモデルより損失の低いモデルは、ほかのどの値の組み合わせでも作れません。そのため、与えられたデータセットに対して考えられる最良のモデルになります。

勾配降下法でたどり着く仕組み

勾配降下法は、損失が最も低いモデルを作る重みとバイアスを、繰り返しの計算で探す数学的な手法です。探索の途中の重みとバイアスを点としてグラフに描くと、その点は坂を転がり落ちるボールのように動き、下り坂がなくなった地点で止まります。モデルが損失の最小値を見つけたこの状態を、収束と呼びます。

線形モデルでは必ず見つかる理由

線形モデルの損失関数は、常に凸な曲面になります。特徴量が1つのモデルで損失の曲面をグラフに描くと、この凸の形が目で確かめられます。

この性質があるため、線形回帰モデルが収束したときには、損失を最も低くする重みとバイアスが見つかったと分かります。つまり線形モデルでは、勾配降下法が必ず大域最適解にたどり着き、与えられたデータに対して最良のモデルが得られます。

具体例として、ある線形回帰モデルでは、重みが-5.44、バイアスが35.94のときに損失が最も低い5.54になります。この値を使ってモデルをグラフに描けば、データへの当てはまり具合を確かめられます。

押さえておきたい2つの注意点

1つ目は、見つかる値は厳密な最小点そのものではないという点です。モデルが損失を最小にする重みとバイアスの厳密な値を見つけることはほとんどなく、実際にはそれにごく近い値を見つけます。

2つ目は、最小の損失はふつう0にならないという点です。大域最適解での損失は通常0より大きくなります。損失が0になるのは、モデルがすべてのデータ点に完全に一致した状態です。これは通常、モデルが複雑すぎる、または表現力が強すぎることによる過学習の兆候と考えられます。大域最適解は損失が0の点ではなく、そのモデルで到達できる最も低い損失の点だと理解しておきましょう。