AUC

ROC曲線の下側の面積としてのAUC

AUCは、分類モデルの性能を評価するROC曲線について、その曲線より下側の面積を表す指標です。英語のArea Under the Curveの頭文字で、正式にはArea Under the ROC Curveと呼ばれます。ROC曲線の描き方は、別の語であるROC曲線で扱います。ここでは、その面積が何を意味するかに絞って説明します。

AUCが表す確率

AUCの中心となる意味は次のとおりです。モデルに、ランダムに選んだ正例と負例を1つずつ与えます。このとき、モデルが正例の方を負例より高く順位付けする確率がAUCです。

この確率は、正例と負例を分ける閾値をどこに置くかに依存しません。AUCは、個々の例を最終的にどちらのクラスに分けるかではなく、正例を負例より上に並べられるかを評価します。スパムメール分類器の場合、1通ごとの実際の分類結果は、利用者が選ぶ閾値によって決まります。

AUC=1.0とAUC=0.5が意味すること

AUCは面積なので、0以上1以下の値をとります(ROC曲線の縦軸TPR・横軸FPRはそれぞれ0から1の範囲だからです)。完璧なモデルのROC曲線は、辺の長さが1の正方形を囲みます。そのため、AUCは1.0になります。これは、ランダムに選んだ正例を、ランダムに選んだ負例より必ず高く順位付けできる、つまり正しく順位付けできる確率が100%であることを意味します。AUCが1.0のスパムメール分類器は、ランダムに選んだスパムメールに、ランダムに選んだ正当なメールより常に高い確率でスパムだと判定します。

一方、ランダムな推測やコイン投げと同じ程度の性能しかない2クラス分類器では、ROC曲線が点(0,0)から点(1,1)への対角線になり、AUCは0.5です。これは、正例と負例を正しく順位付けできる確率が50%であることを表します。AUCが0.5のスパムメール分類器が、ランダムに選んだスパムメールに正当なメールより高い確率を付けるのは、全体の半分の場合だけです。

モデルの比較に使うときの条件

AUCは、2つの異なるモデルの性能を比べるときに便利な指標です。一般に、曲線の下側の面積が大きい方のモデルが優れています。ただし、この比較が有効なのは、データセットのクラスがおおむね均衡している場合です。クラスの数が均衡していないデータセットでは、適合率と再現率を使うPRC(適合率-再現率曲線)と、その曲線の下側の面積の方が、モデルの性能を比べやすいことがあります。

G検定シラバス2024では、中項目10 モデルの選択・評価のキーワードに、ROC曲線・AUCが含まれています。