OpenPose

OpenPoseが目指したこと

OpenPoseは、画像や動画に写る複数の人物について、2次元の姿勢をリアルタイムに検出するシステムです。複数人物の2次元姿勢推定は、機械が画像や動画の中の人を理解できるようにするための重要な構成要素と位置づけられています。OpenPoseは、1枚の画像に写る複数の人物の2次元姿勢をリアルタイムに検出する手法として提案されました。

Part Affinity Fieldsで部位を人物へ結びつける

複数の人物が写る画像では、見つけた身体部位がどの人物のものかを決める必要があります。OpenPoseは、Part Affinity Fields(PAF)と呼ばれる非パラメトリックな表現を用いて、画像内の身体部位を個々の人物へ対応づけることを学習します。

論文はこのシステムをボトムアップ方式と呼んでいます。身体部位を捉え、それをPAFによって人物ごとに対応づけるという組み立てです。PAFの内部の計算の詳細はここでは扱いませんが、部位と人物を結びつけるための表現である点を押さえておくことが大切です。

人数に左右されない精度と速度

このボトムアップ方式のシステムは、画像に写る人物の数にかかわらず、高い精度とリアルタイムの性能を達成するとされています。複数の人物を扱う場面で、人数が増えても実用的に動作することがOpenPoseの大きな特徴です。

PAFだけを精緻化する改良

先行する研究では、学習の段階を通してPAFと身体部位の位置推定の両方を同時に精緻化していました。OpenPoseの論文では、両方を精緻化するのではなくPAFのみを精緻化することで、実行速度と精度の両方が大きく向上することが示されています。精緻化の対象を絞ることが、速さと正確さの両立につながった点が改良の要点です。

体と足を組み合わせたキーポイント検出

OpenPoseの論文では、体と足を組み合わせた初のキーポイント検出器も提示されています。この検出器は、内部で注釈を付けた足のデータセットに基づいて作られ、そのデータセットは一般に公開されています。体と足の検出器を順番に実行する場合と比べて推論時間を削減しつつ、それぞれの検出の精度を個別に実行した場合と同等に保てることが示されています。

オープンソースとして公開された意義

これらの研究の成果は、OpenPoseとして公開されました。OpenPoseは、体・足・手・顔のキーポイントを含む複数人物の2次元姿勢検出を行う、初のオープンソースのリアルタイムシステムです。研究としての手法の提案にとどまらず、誰もが利用できるシステムとして公開されたことが、この名称が広く知られる理由の一つといえます。