姿勢推定

解剖学的なキーポイントの位置を特定する課題

人物の2次元の姿勢推定(Human 2D pose estimation)は、画像の中で解剖学的なキーポイント、つまり身体の部位(parts)の位置を特定する問題です。これまでの研究は、主に1人の人物の身体部位を見つけることを中心に進められてきました。

複数人物の姿勢推定が難しい3つの理由

画像に複数の人物が写っている場合、とくに人どうしが関わり合っている場面では、1人の場合にはない難しさがあります。

1. 画像に何人の人物が含まれるかが分かりません。さらに、それぞれの人物はどの位置にも、どの大きさでも現れる可能性があります。
2. 人物どうしの接触、オクルージョン(遮蔽)、手足の関節の動き(limb articulations)によって、空間的に複雑な干渉が起こります。そのため、見つけた部位をどの人物のものとして結び付けるかが難しくなります。
3. 処理にかかる時間の複雑さは、画像の中の人数が増えるほど大きくなる傾向があります。そのため、リアルタイムで処理することが課題になります。

トップダウン方式は人物を先に検出する

よく使われる方法は、まず人物検出器で人物を見つけ、検出した人物ごとに1人用の姿勢推定を行うものです。これをトップダウン方式と呼びます。

この方式の利点は、既存の1人用の姿勢推定の技術をそのまま活用できることです。

一方で、早い段階での確定(early commitment)という弱点があります。人物検出器が失敗すると、あとから回復する手段がありません。人物検出器は、人どうしが近くにいるときに失敗しやすくなります。

さらに、処理時間が人数に比例します。検出した人物ごとに1人用の姿勢推定器を実行するため、人が多いほど計算コストが大きくなります。

ボトムアップ方式の利点と従来の課題

これに対してボトムアップ方式には、2つの魅力があります。1つは、早い段階での確定に対して頑健であることです。もう1つは、処理時間の複雑さを画像の中の人数から切り離せる可能性があることです。

ただし、ボトムアップ方式には課題もあります。ほかの身体部位やほかの人物から得られる大域的な文脈の手がかりを、直接には使いません。また実際には、従来のボトムアップ方式は効率の面での利点を保てていませんでした。最終的な解析の段階で、コストの高い大域的な推論が必要になるためです。

Part Affinity Fieldsによる複数人物の姿勢推定

画像の中の複数人物の2次元の姿勢を効率よく検出する方法として、Part Affinity Fields(PAFs)と呼ばれるノンパラメトリックな表現を使う手法が提案されています。この表現を用いて、身体の部位を画像の中の個々の人物に結び付けることを学習します。

この手法のアーキテクチャは大域的な文脈を符号化します。そのため、貪欲なボトムアップの解析の手順を使っても高い精度を保ち、画像の中の人数に関係なくリアルタイムの処理性能を実現します。

この手法は、第1回のCOCO 2016 keypoints challengeで1位となりました。また、MPII Multi-Personベンチマークにおいて、それまでの最先端の結果を、性能と効率の両面で大きく上回りました。

2つの方式を比べるときの観点

トップダウン方式とボトムアップ方式は、次の観点で比べると整理しやすくなります。

• 人物検出への依存: トップダウン方式は人物検出器が失敗すると回復できません。ボトムアップ方式は早い段階での確定に頑健です。
• 処理時間と人数の関係: トップダウン方式は人数に比例して計算コストが増えます。ボトムアップ方式は人数から処理時間を切り離せる可能性があります。
• 大域的な文脈: 従来のボトムアップ方式は、ほかの部位やほかの人物からの手がかりを直接使わず、最終的な解析に高コストの推論を必要としていました。