ARインタフェース

背景と目的

近年、拡張現実(AR)の技術は身近なものになりつつあります。一方で、既存のARを用いたコンテンツの多くは現実世界に3Dモデルなどのデジタル情報を重畳提示したにすぎないものがほとんどです。すなわち既存のARを用いたコンテンツの多くは、ARの特徴を活かしきれていないことが考えられます。

そこで、本研究室ではAR特有の機能について研究しています。ARの特性を知り、これまでとは異なるARの活用方法を見出すことを目的としています。

2024年度の研究

【1】HMDのハンドトラッキングと空間知能化の連携による実物体の指差しインタフェース

複合現実感技術(MR)の発展により、HMDを装着したユーザーのオブジェクト操作をより直観的かつ効率的に行うためのインタラクション手法が数多く提案されています。しかし、MR で操作可能なオブジェクトは基本的に仮想的オブジェクトに限定される場合が多く、実物体のオブジェクト操作に焦点を当てている研究は少ない傾向にあります。

この研究では、上記のようなシステムを構築することにより、HMDを装着したユーザーが遠隔から実物体を選択することができる指差しインタフェースを実現しました。
はじめに、Hololens2のハンドトラッキング機能を用いて手の形状を認識し、指を差した方向に対して仮想的な光線を出力することで、任意の3次元座標を取得します。次に、室内監視のページで紹介されている室内シーン変遷ロギングシステムが検出している実物体の3次元空間領域の情報を利用することで、仮想的な光線と実物体が接触しているかどうかを判定します。接触している場合、実物体の周辺にBBoxを生成することで実物体の選択を実現しています。最後に、選択している実物体が存在する状態で仮想ボタンを押すと、室内シーン変遷ロギングシステムのデータベースからその物体に関する直近の持ち込みイベント情報を取得し、MR空間内に提示します。
以下の動画では、指差しインタフェースの実物体の選択からイベント情報のMR提示までの一連の流れを示している。

2023年度の研究

物体把持・ロボットのページで紹介されているように、人の指示に応じてロボットが自動的に物体を操作する動作を生成するために，普段人間が操作する様子を観察学習し、操作方法を想起できるようにする方法について，研究が進められています。

私たちはこの手法を用い、想起した物体操作方法をARインタフェースによりユーザに提示することで、工場のような作業空間を普段から観察学習しておき、初めて訪れたユーザに対して学習した知識を用いて作業機器の使用方法を教えることができると考えました。

上記のようなシステムを構築するため、2023年度はHoloLens2を用いた物体操作方法の取得機能と、HoloLens2による物体操作方法の提示機能の二手に分かれて研究を行いました。

【1】HoloLens2を用いた物体操作時の手指の詳細動作の計測と提示

システムの様子

この研究は、HoloLens2のハンドトラッキング機能を用いて手指の詳細動作情報を取得し、手のオブジェクトとして提示することができます。
また、それらの手指の詳細動作情報を保存し、データとして蓄積することやROSを用いて他のユーザと情報を共有することができます。動画では、あらゆる物体に対して操作した手の動きの一連の流れをアニメーションとして保存し、提示している様子を示したものです。

【2】HMD搭載深度センサによる物体形状の取得と想起した物体把持方法のAR提示

この研究では、【1】と同様にHoloLens2を用いて、ユーザの前にある物体の形状を取得し、その物体に対して想起した物体操作方法を3DモデルのアニメーションとしてHoloLens2上に提示します。

これにより、目の前の物体に対する操作方法や操作位置を、3次元モデルによる直感的な表示で確認することができます。

以下の図は実物体を用いて実験を行った様子です。物体の形状に対して、それぞれ違った動作を3次元モデルのアニメーションによって提示できていることがわかります。

過去の研究

【1】オペラブルリアリティに基づく棚内物体の仮想操作インタフェース

MRデバイスであるHoloLensを用いて棚の扉の開閉や物体の操作を仮想的に行います。
室内監視の技術により物体の持ち込みや持ち去りといったイベントを検知し、棚に持ち込まれた物体の画像をHoloLens上に提示します。

扉の開閉や物体の移動などを実際に行うことなく、かつ直感的な操作で隠された棚内部の状態を確認できます。

オペラブルリアリティ　とは

オペラブルリアリティのコンセプトはライブ映像内の物体を視覚的に操作する技術です。

仮想に拡張された物体だけなく、ライブ映像内の実物体についても仮想的に操作ができます。

棚の扉が閉ざされた状態でも、タブレットなどのデバイス上で扉をドラッグするだけで棚内に置かれた物体を見ることができます。

【2】オペラブルリアリティのためのMRにおける収納家具の対話的取り込み

[1]の研究の引き出しを3次元形状で表示し、ユーザーの仮想操作によって分割操作を加えます

また、引き出し内の時間経過による変遷をたどることができるような提示を行います。

システムの流れ

①引き出しの切り分け

②引き出し内物体の表示

③時間変遷を辿る

今回の実験で、ユーザー自身が HMD 上で 3 次元形状の引き出しオブジェクトに切断操作を行い引き出し操作を付与するとさらに引き出し内に収納された物体とその変遷情報を可視化ができることを示しました。

【3】 ARのユーザ別提示情報提示を利用したカードゲーム part1

ARがデジタル情報を実物体や現実世界に重畳提示していることに着目し、デジタル情報の量や質をユーザごとの状況に応じて個別に調節する機能について調査を行っています。

本研究では「複数の人が同時に同じものを観察しているが、各ユーザは異なるものを認識している」という状況が人の思考にどう影響を与えるか、をテーマとしています。その一環として、ユーザの状況に応じて提示される情報が変わるカードゲームをを作成しています。

作成したゲームはごきぶりポーカーという既存のカードゲームを元に、各プレイヤーの状況や有利不利によって提示される情報が異なるように調整しています。評価実験により、他プレイヤーにいかに情報を与えずに自分の情報を集めるかという新たな行動が見られ、ゲームに新たな戦略を付与することができました。

プレイ中の様子と、各プレイヤーの画面
左の画面にはマーカ上にペンギンが写っているが、右の画面には写っていない

【4】 ARのユーザ別提示情報提示を利用したカードゲーム part2

[3]で開発されたスマートフォン向け実装をHMDを用いて実装しました。また、新ルールを追加することでどのようにエンターテインメント性が変化するかどうかの検証を行いました。

新ルールの隣合わせを行ったプレイヤーの画面
爬虫類のカードとイルカのカードを並べることで新たに”泳げる”という情報を得ている

検証の結果、新しく追加した隣合わせルールによって心理戦的な要素と推理性の面白さが向上しました。

また、スマートフォンからHMDに機器を変更することで直感的なUIを実現できました。

プレイ中の様子と、各プレイヤーの画面
出題者，傍観者，回答者で見えている情報量が異なる

【5】食い違いつみき

-AR のユーザ別部分情報提示が引き起こすコミュニケーション-

本研究では AR のユーザ別部分情報提示を適用したとき、各ユーザが異なる情報を見ているという状況を各ユーザがどう認識するのか、またユーザがどのようなコミュニケーションを取るのか検証しました。

食い違いつみきでは AR を用いて実物体であるつみきを拡張します。AR空間上での形はすべて同一ですが、ユーザには一部の情報を隠蔽して表示します。

AR空間のステージの正しい窪みにブロックをはめる事を目的としますが、情報の一部が隠蔽されているので AR 空間上で起こるシミュレーションの整合性を取るためにはコミュニケーションが必要です。

検証の結果、実世界上でのコミュニケーションは指を用いた伝達が最も有効である。AR下では相手に予め異なる視点が提示されていることを提示すべきだということが分かりました。

【6】実物体, 仮想物体でのシームレスな操作と過去における人物行動の提示

室内監視での研究によって得られるカメラで監視をしている領域へ人物が物体の持ち込み・持ち去りを行った際の検知情報を蓄積し、AR/MRデバイス上で誰がどの物体をどのように持ち込んだか、あるいは持ち去ったかを提示する研究を行っています。

過去の持ち込み・持ち去り情報を閲覧しようとする際には、
①持ち込みイベントのみが発生し、ユーザーが視認できる範囲に実物体が存在する場合
②持ち去りイベントが発生し、ユーザーが視認できる範囲に実物体が存在しない場合
の2つが考えられます。

本研究では、MR空間にて実物体が存在する場合には、その物体を囲うような3D Bounding Boxを提示し、実物体が存在しない場合には、元々物体が存在した位置に持ち込み・持ち去りが記録された物体のアイコン画像を使った仮想物体を提示することで、ユーザーがそこに実物体があるかどうかに関わらず物体に関する情報取得等の操作を加えることが可能になります。

物体の持ち込み・持ち去り時の様子と
仮想物体による持ち込み人物・持ち去り人物それぞれについての過去の人物行動提示

実験では、持ち込みのみが発生した時には実物体を選択することで持ち込みを行った人物アイコン画像と骨格によるその人物の行動を提示し、持ち去りが発生した際には物体を持ち込んだ人物と持ち去った人物のそれぞれについて人物アイコン画像と人物行動を確認しました。

Interaction Laboratory インタラクション研究室