背景と目的
近年では産業目的だけでなく、人の生活に密接に関わり、人間の生活をサポートすることを目的としたロボットの研究が進められています。そういったロボットは実空間の物体の位置を把握し、適切な行動を行う必要があります。
本研究室ではロボットに画像認識などを用いてロボットに適切な行動を選択できるように研究を行っています。
研究内容
【１】物体把持方法の想起
人の簡単な指示に応じてロボットが自動的に複雑な動作を生成して物体を把持するためには、1つのオブジェクトに対して複数の把持方法の候補の中から適応的に推定することが重要です。
そこで、オブジェクトが写った画像から把持位置や手の形状の候補を特徴別に想起する方法について研究を進めています。
【２】Transform Invariant Auto-encoderを用いた人間の把持方法の模倣
Auto-Encoderは次元削減方式の一種で入力ベクトルを重要な情報を表す記述子へマッピングすることができます。しかし、空間的にシフトした画像はシフトしていない画像とは異なる記述子へマッピングされてしまいます。
そこでシフト情報を分離し、画像内のパターン情報をマッピングすることができるTransform Invariant Auto-encoderを提案しました。これを用いると前処理なしで人間の手の画像から形状情報を抽出することができます。
【３】深層学習を用いた家庭内環境における不安定物体の推定
机の上に物体が存在するというシチュエーション下にてその物体が落ちそうかそうでないかを推定する研究を行いました。学習データをUnity上でシミュレーションして作っているため、物体の エネルギー変位などを教師信号として用いることができています。
【４】人間共存環境におけるアームロボットの回避行動
ロボットが人間のいる空間で行動する場合、人間は独立して動くため、ロボットは人間の行動に干渉しないように行動しなくてなりません。
この研究ではSciurus17というヒューマノイドロボットを用いて、ロボットのカメラに映る人間を障害物を認識し、人間を避けるように行動することを目的としています。
【５】姿勢による移動性の違いを考慮した人物の位置推定
ロボットはカメラで観測している物体の位置の変化は認識できますが、観測範囲外ではその変化を認識できません。そこで過去の観測から現在の物体の位置推定を研究します。
この研究ではRealsenseという深度カメラを用いて人間の骨格推定を行い、人間の立ち姿勢と座姿勢を把握します。そして、姿勢による移動性の違いを考慮した上で、過去の人間の姿勢から、人間の現在位置の推定を行います。
上図の左側はカメラの映像、右側の赤と黄緑の点群はロボットが観測している人間の位置を示す。カメラが観測できない位置に人が移動すると、観測できなくなる直前の人間の姿勢から、現在の人間の位置を推定する。推定位置まで点群の位置が移動する。
【6】部分観測から復元した 全体像の曖昧さを反映する 記述子空間の設計手法
視覚的想像力の実現のために、深層学習を用いて画像内のどの物体が不安定であるかを推定します。
そのために、画像内の物体に外力を加えたときに変化する位置エネルギーの推定を深層学習を用いて試みます。
不安定な状態の物体の画像と力の大きさと向きをCNN(畳み込みニューラルネットワーク)に入力します。
すると、不安定な物体がどれであるかがわかります。
しかし、ある視点からの情報では物理的な情報を取得することに限界があります。
そこで、人間のように複数視点の情報を組み合わせて観測の不完全さを考慮した曖昧性を表現することを試みています。
つまり、1視点からだけではなく、複数視点からの情報を組み合わせることでより良い認識を試みています。
ShapeNet[1]という3D物体のデータセットの中から車についてのデータを入力として提案手法で予測を行いました。
複数視点からの情報を与えることで予測の物体の形が真値に近づいていることが確認できます。
