2021 Fiscal Year Annual Research Report
映像演出効果を高めるステルスプロジェクション方式の基盤構築
| Project/Area Number |
19H04152
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
橋本 直己 電気通信大学, 大学院情報理工学研究科, 教授 (70345354)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
佐藤 美恵 宇都宮大学, 工学部, 教授 (00344903)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | プロジェクションマッピング / 空中像 / 体積走査型ディスプレイ / 物体追跡手法 |
|---|
| Outline of Annual Research Achievements |
ステルス投影方式を採用した実装を多様化し、より詳細な評価を実施した。まず、高速プロジェクタと螺旋型回転スクリーンを組み合わせた体積走査型スクリーンによる立体光源生成方式の試作機を完成させ、評価を行い、特性と課題の洗い出しを行った。また、結果はジャーナル論文として採択された。LEDによる自発光型の体積走査ディスプレイも作成し、道標に評価を行い、速報として投稿中である。また、液晶パネルとレンチキュラレンズによるライトフィールドディスプレイを用いたステルス投影についても、試作装置を実装して投影結果の評価を行い、国際会議にて発表を行った。
投影対象の位置姿勢追跡に関しては、まつ投影歪みを組み合わせた手法について検討を行い、物体輪郭のみでなく、物体内部に発生する投影の歪み誤差を最小化する仕組みを導入することで、遮蔽に対してロバストな追跡アルゴリズムについての検討を行った。また、これまでの近赤外カメラを使った輪郭ベースの追跡手法において、カメラを2重化して観察方向を増やすことによる姿勢の曖昧性低減及び対応点増加を前提として、把持する手との区別をより厳格に実施するアルゴリズムの導入を行った。これにより、対象物体の40％程度が遮蔽される状況においても、精度を維持した物体追跡を実現することができた。
さらに、次年度以降の取り組みを見据えて、これまで実装してきたシステムを、既存のゲームエンジンと融合させることにより、より多様でインタラクティブなコンテンツを自由かつ簡易に作成できる環境の構築に着手した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究を構成する大きな柱として、投影対象の形状と姿勢をリアルタイムに反映可能な立体光源の生成と、投影対象を非接触で追跡する物体追跡技術の、2つを掲げている。まず1つめの立体光源に関しては、当初想定していた、体積走査型ディスプレイ方式とライトフィールド投影方式の2つを提案及び評価することができた。また、前者に関しては、高速プロジェクタを用いた方式と自発光するLEDを用いた方式の2種類を実装するまでに至っており、十分な評価検討が実現できていると考えている。
一方、投影対象の物体追跡技術に関しては、手で把持して走査することを想定した環境では、これまで以上に、手による遮蔽や誤対応に対して頑健であることが求められることが明らかとなり、それへの対策アルゴリズムの実装を進めてきた。これまで、手と誤対応していると対応点を積極的に削減する方針に基づいてロバスト化を計ってきたが、削減が進むことによる姿勢推定の不安定化が顕著になり始めた。そこで、撮影を行うカメラを2重化し、また撮影方向も2つに拡張することで、その問題解決を達成することができた。懸念された速度低下も十分に押さえ込める実装を実現することができ、現時点で200回／秒の姿勢推定が実現できている。これは想定している市販プロジェクタに対しては十分な性能で有り、十分に有望な手法に仕上がったといえる。
アルゴリズム自体の改善としては、従来の輪郭ベースに加えて、物体内部に発生する投影歪みの利用の検討も行った。しかし計算時間と精度向上をバランスさせることを考慮すると、あまり有効な手段であるとはいえず、今後は輪郭のみに絞った手法を継続させることとした。
|
| Strategy for Future Research Activity |
より実用性を向上させるために、残された課題に取り組むことに注力する。まず、対象物体の追跡に関しては、ロバスト化や高速化については十分な成果を挙げているものの、静止時における微振動発生が問題視されている。これはアルゴリズム及び輪郭の安定取得に関係していることが分かっているため、早急に改善させたい。また、追跡速度は現時点で200回／秒であるが、近年の普及型低遅延プロジェクタの240フレーム／秒の性能を十分に活かしきれるところまでの高速化を実現したい。また、それに合わせた投影遅延補償アルゴリズムの改良も行う予定である。さらに、現在は高速処理のため、対象物体やユーザの手等の領域を、あえて識別しないアルゴリズムを実現している。しかし、その弊害として、対象物体を把持する手の上にも映像が投影されてしまう状況となっており、不自然であるとの評価も得ている。そこで、これまでの高速処理を犠牲にせずに、ユーザの手を識別し、その上への投影を回避する手法の開発を行う予定である。
また、これまでの取り組みでは、投影対象の表面色やテクスチャを変更することを実施してきたが、投影対象の奥行き的に内側に映像表現を行うことも予定している。これは汎用の形状を様々な物体の見た目に変化させることで、遠隔地の環境を再現するインタフェースを狙ったものである。また、その対象物体内に映し出させる映像と、物理的な変化をやりとりできる対話性を容易に実現していくためにも、コンテンツ制作に特化したゲームエンジンとの融合を進めていく予定である。
|
