グリッドサーチ

どんな手法か

グリッドサーチは、ハイパーパラメータを探す手法の一つです。あらかじめ値の格子(グリッド)を指定し、そこから考えられるすべての組み合わせを尽くして評価します。scikit-learnではGridSearchCVとして提供されています。公式ドキュメントは、与えられた値について、パラメータのすべての組み合わせを網羅的に検討する方法だと説明しています。

格子の具体例

公式ドキュメントには、次の2つの格子を探索する例があります。

• 1つ目の格子: カーネルをlinearに固定し、Cを1、10、100、1000の4通りに変えます。組み合わせは4通りです。
• 2つ目の格子: カーネルをrbfに固定し、Cの4通り(1、10、100、1000)とgammaの2通り(0.001と0.0001)を掛け合わせます。組み合わせは8通りです。

2つの格子を合わせると、評価する候補は12通りになります。値の候補を並べた軸どうしを掛け合わせると格子ができます。その交点を1つ残らず試すのが、グリッドサーチの考え方です。

仕組み: すべて評価してから最良を採用する

GridSearchCVは、通常の推定器と同じ使い方ができます。データセットに対して学習(fit)させると、パラメータの値の組み合わせがすべて評価され、その中で最良の組み合わせが残ります。途中で候補を打ち切らず、格子上の候補をすべて比べ終えてから1つを選ぶ点が特徴です。

広く使われる理由と注意点

公式ドキュメントによれば、パラメータの格子を使う方法は、現在パラメータの最適化で最も広く使われています。ただし同じ文書は、ほかの探索方法のほうが好ましい性質を持つとも述べています。グリッドサーチは網羅的に調べるので、組み合わせの数は各パラメータの候補数の掛け算で決まります。パラメータの種類や候補の値を増やすほど、評価する組み合わせは増えていきます。

また、モデルの予測性能や計算性能に大きく影響するのは一部のパラメータであることが多く、残りは既定値のままでよい場合がよくある、とも書かれています。格子に含めるパラメータを絞り込むときの手がかりになる記述です。

ランダムサーチとの対比

対になる手法にランダムサーチ(RandomizedSearchCV)があります。パラメータの取りうる値の分布から、候補を無作為に抽出する手法です。網羅的な探索と比べた利点は2つあります。1つは、パラメータの数や値の候補数とは関係なく探索の予算を決められることです。もう1つは、性能に影響しないパラメータを加えても効率が落ちないことです。

グリッドサーチはG検定のシラバス2024のキーワードに含まれる語です。