ILSVRC

どのような競技会か

ベンチマークとは、同じデータと同じ評価のしかたで、複数の手法の性能を比べるための共通の課題のことです。ILSVRCは、画像認識の分野でこの役割を持つ競技会です。中心となる課題は物体カテゴリの分類と検出です。分類は、画像に写っている物体がどのカテゴリに当たるかを答える課題です。検出は、画像の中のどこにどのカテゴリの物体があるかを答える課題です。

Olga Russakovskyらの論文の要旨によると、ILSVRCは数百の物体カテゴリと数百万枚の画像を対象とし、2010年から毎年実施され、50を超える機関が参加しました。

ImageNetとの関係と規模

ImageNetは、多数の画像に物体のカテゴリを付けた大規模な画像データセットです。論文は、ImageNetデータセットがILSVRCのバックボーン(土台)であると述べています。

ILSVRCは1000の物体クラスを使います。論文は、PASCAL VOC 2010と比べ、画像の数が19,737枚からILSVRC 2010の1,461,406枚へ、物体クラスの数が20から1000へと拡大したと述べています。

論文がまとめている内容

論文は、ベンチマーク用データセットの作成の過程と、それによって可能になった物体認識の進歩を述べています。また、画像分類におけるコンピュータビジョンの最新の精度を人間の精度と比較し、5年間のチャレンジから得た教訓と今後の方向を論じています。