ROC曲線

しきい値を1つに決めずに性能を見るためのグラフ

適合率や再現率などの評価指標は、ある1つの分類しきい値で計算した値です。しきい値を変えると値も変わるため、考えられるすべてのしきい値にわたってモデルの質を評価したいときには、別の道具が必要になります。ROC曲線はそのための道具で、すべてのしきい値にわたるモデルの性能を視覚的に表したものです。

縦軸は真陽性率、横軸は偽陽性率

ROC曲線を描くときは、考えられるすべてのしきい値(実際には一定の間隔で選んだしきい値)について真陽性率(TPR)と偽陽性率(FPR)を計算します。そのうえで、縦軸にTPR、横軸にFPRを取って、各しきい値でのTPRとFPRの組を点として描きます。しきい値を動かすと、曲線上の位置が変わります。

英語の長い名前receiver operating characteristic(受信者操作特性)は、第二次世界大戦のレーダー探知に由来する呼び名の名残です。

完璧なモデルとランダムな推測の比較

あるしきい値でTPRが1.0、FPRが0.0になる完璧なモデルは、ほかのしきい値を無視すれば点(0,1)で表せます。一方、二値分類でランダムな推測やコイン投げとまったく同じ性能しか出ないモデルのROC曲線は、点(0,0)から点(1,1)への対角線になります。このときの曲線の下の面積(AUC)は0.5です。これは、ランダムに選んだ正例と負例を正しく順位付けできる確率が50%であることを表します。

曲線の上でしきい値を選ぶ

曲線上で点(0,1)に近い点ほど、そのモデルにとって性能の良いしきい値にあたります。どのしきい値を選ぶかは、その用途でどの指標を最も重視するかによって決まります。曲線上に、それぞれ別のしきい値を表す3つの点A、B、Cがあるとします。

• 偽陽性(誤検知)のコストが高い場合は、TPRが下がっても、点AのようにFPRの低いしきい値を選ぶのが理にかなうことがあります。
• 偽陽性のコストが低く、偽陰性(見逃し)のコストが高い場合は、TPRを最大にする点Cのしきい値が望ましいことがあります。
• 両方のコストが同じくらいなら、点BがTPRとFPRのバランスが最も良い点になることがあります。

クラスの偏りがあるデータでの注意

ROC曲線とAUCは、クラスの数がおおむね均衡しているデータでモデルを比べるのに向いています。クラスが均衡していないデータでは、縦軸に適合率、横軸に再現率を取る適合率-再現率曲線(PRC)とその下の面積のほうが、性能を比べる図として適している場合があります。

ROC曲線・AUCは、G検定シラバス2024の中項目10 モデルの選択・評価のキーワードに含まれます。