エッジ AI

エッジAIとは

エッジAIは、AIの処理を遠くのクラウドのデータセンターにまとめて任せるのではなく、データが生まれる場所に近いネットワークの端(エッジ)で行うという考え方です。ここでいう端とは、スマートフォンのようなモバイル機器や、センサーやカメラのようなIoT(モノのインターネット)機器、そしてそれらの近くに置かれた計算機を指します。

ジョウ(Zhou)らの2019年の論文 Edge Intelligence: Paving the Last Mile of Artificial Intelligence With Edge Computing は、計算タスクやサービスをネットワークの中核から端へ押し出す新しいパラダイムであるエッジコンピューティングに注目し、それとAIが結びついて生まれた新しい学際分野を、エッジAI(edge AI)またはエッジインテリジェンス(edge intelligence)と呼んでいます。

この語で大切なのは、何かを圧縮する具体的な手法の名前ではなく、推論をどこで行うかという配置についての語だという点です。

背景となる変化

ディープラーニングの進歩により、近年はAIを使ったアプリケーションやサービスが急速に広がりました。同時に、モバイルコンピューティングとIoTの普及によって数十億台規模の機器がインターネットにつながり、ネットワークの端で膨大な量のデータが生み出されるようになっています。

ジョウらは、この端で生まれる大量のデータの可能性を十分に引き出すために、AIの最前線をネットワークの端へ押し出す必要が高まっていると述べ、その解決策として有望視されているのがエッジコンピューティングだと位置づけています。

クラウドに送るだけでは足りない理由

従来の一般的な考え方は、IoT機器で集めたデータをまとめてクラウドのデータセンターへ送り、そこで分析するというものでした。しかし、広域ネットワーク(WAN)越しに膨大な量のデータを移動させると、次のような問題が起こります。

• 通信にかかる金銭的なコストが非常に高くなりうる
• データを送るのにかかる伝送遅延が大きくなりうる
• データを外部へ送ることで、プライバシーの漏洩が大きな懸念になる

端末の中だけで処理しても足りない理由

それならばデータを送らず、端末の上でAIアプリケーションを直接動かしてローカルで処理すればよい、という代替案も考えられます。ところが、多くのAIアプリケーションは高い計算能力を必要とし、その要求は端末が提供できる能力を大きく上回ることがあります。そのため、端末の中だけで処理しようとすると、性能やエネルギー効率が悪くなりうるという課題があります。

つまりエッジAIは、クラウドに全部送る方式と、端末の中だけで全部処理する方式のどちらにも課題があるという状況の中で、端に近い場所で計算を行う道を探る取り組みだといえます。

エッジコンピューティングの利点

ジョウらは、従来のクラウド中心の計算のやり方と比べたエッジコンピューティングの利点として、次のような点を挙げています。

• 低遅延: データを遠くまで往復させずに済む
• 省エネルギー
• プライバシー保護: データを手元に近い場所で扱える
• 帯域消費の削減: 大量のデータをネットワークへ流さずに済む

軽量化の技術との接点

論文はエッジでの推論の質を測る指標として、遅延・精度・エネルギー・プライバシー・通信オーバーヘッドの5つを挙げています。この中でも、端末のエネルギーが限られていること、モバイル機器には高性能なGPUのような専用の広帯域メモリが無いこと、大量のパラメータを持つDNNが端末のハードウェア資源を要求することが、課題として説明されています。

論文は、これらの課題に対応する技術としてモデル圧縮を挙げ、その効果を次のように説明しています。資源を大量に必要とするDNNと、資源の乏しい端末との間にある緊張を和らげるために、モデルの複雑さと資源要求を減らすDNN圧縮が広く採用されてきました。これによってローカルでのオンデバイス推論が可能になり、応答遅延が減り、プライバシーへの懸念も少なくなります。つまりモデル圧縮の手法は、遅延・エネルギー・プライバシー・メモリ使用量という4つの指標をまとめて最適化する、と論文は位置づけています。

具体的な圧縮技術として、論文は重みのプルーニング・データの量子化・コンパクトなアーキテクチャ設計を挙げています。重みのプルーニングについては、しきい値(例えば0.001)より小さい重みを取り除き、その後モデルを微調整して精度を回復させるという具体的な手順と、AlexNetで9倍、VGG-16で13倍という削減率が紹介されています。

デン(Deng)らの2020年の論文も、AI on edge(端末側でAIを動かす方向)において効率性を追求することが既存のアルゴリズムやモデルを改善する鍵になると述べ、モデル圧縮を、深層AIモデルの訓練と推論の効率を改善するための手法の一つとして位置づけています。モデル圧縮の具体的な手法としては、量子化・次元削減・プルーニング・コンポーネント共有・精度の引き下げなどを挙げ、これらが勾配や重みに内在するまばらな構造を利用して、メモリとチャネルの占有をできるだけ減らすと説明しています。

このように、プルーニング・量子化・蒸留のような軽量化の技術は、端末の限られた計算資源やエネルギーという制約のもとでローカルの推論を成り立たせるための手段として、論文自身がエッジでの推論を支える技術に位置づけています。各手法の具体的な仕組みは、それぞれの語のページで確認してください。

押さえておきたい見方

エッジAIを学ぶときは、何を使って小さくするかではなく、どこで推論するかという視点を持つと整理しやすくなります。クラウドで処理する場合との違いを、コスト・遅延・プライバシー・計算資源という観点で比べられるようにしておくと、軽量化の技術がなぜ必要とされるのかも自然につながって理解できます。