MnasNet

モバイル向けCNN設計の難しさ

スマートフォンなどのモバイル端末で動かす畳み込みニューラルネットワーク(CNN)は、小さく速く、しかも精度が高いことを求められます。モバイル向けCNNはさまざまな面から設計と改良が重ねられてきましたが、考えられる構造の候補が非常に多いため、精度と速さのトレードオフを人の手で釣り合わせるのはとても難しい作業です。MnasNetは、この設計を自動化されたモバイル向けニューラルアーキテクチャ探索(MNAS)で行う手法として提案されました。

精度と遅延を同時に目的にする多目的最適化

MnasNetの1つ目の柱は、設計の問題を、CNNモデルの精度と推論遅延の両方を考える多目的最適化の問題として定式化した点です。モデルの遅延を探索の主な目的に明示的に組み込み、遅延を考慮した多目的の報酬を用いることで、精度と遅延のバランスがよいモデルを探索で見つけられるようにしています。

FLOPSではなく実機で遅延を測る

従来の研究では、推論遅延を直接扱わず、FLOPSのような別の代理指標で近似していました。しかしFLOPSは遅延の代わりとしては不正確なことが多いと論文は指摘しています。例として、MobileNetとNASNetはFLOPSがほぼ同じ(575M対564M)であるにもかかわらず、遅延は113ms対183msと大きく異なります。そこでMnasNetの手法では、モデルを実際のモバイル端末(携帯電話)で実行し、現実の推論遅延を直接測定します。対象のプラットフォームでの実際の速さを探索に反映させる点が、この手法の名前にあるプラットフォームを意識したという特徴にあたります。

層ごとの多様性を許す階層的な探索空間

2つ目の柱は探索空間の工夫です。従来の自動化手法は、主に少数の種類のセルを探索し、同じセルをネットワーク全体で繰り返し積み重ねる方式でした。この方式では層ごとの多様性が生まれません。論文は、層の多様性が高い精度と低い遅延を両立するうえで重要であると示しています。そこで、柔軟さと探索空間の大きさの釣り合いをとるために、ネットワーク全体で層の多様性を促す、分解された階層的な探索空間(factorized hierarchical search space)を新たに提案しました。

ImageNetでの成果

ImageNetの画像分類タスクで、MnasNetはtop-1精度75.2%を、Pixel携帯での遅延78msで達成しました。これはMobileNetV2と比べて1.8倍速く、精度は0.5%高い結果です。また、NASNetと比べると2.3倍速く、精度は1.2%高い結果です。精度と速さの両方で既存のモバイル向けモデルを上回った点が、実機の遅延を目的に組み込む考え方の有効性を示しています。

まとめ

MnasNetの要点は3つです。精度と推論遅延の両方を目的とする多目的最適化であること、遅延をFLOPSで近似せず実機で直接測ること、同じセルを繰り返すのではなく層ごとの多様性を許す階層的な探索空間を使うことです。