2019 Fiscal Year Annual Research Report
ヒューマン顔ライブ拡張現実のための動的プロジェクションマッピングの研究
| Project/Area Number |
17H04691
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
岩井 大輔 大阪大学, 基礎工学研究科, 准教授 (90504837)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | プロジェクションマッピング / プロジェクタ・カメラ系 / 拡張現実感 / 人間拡張 |
|---|
| Outline of Annual Research Achievements |
令和元年度は、高速プロジェクタを用いて投影対象を空間非一様にボケさせる技術について、実空間中の特定箇所をユーザがジェスチャ等で指定すると、その箇所のボケ具合を変調させるような、インタラクティブな枠組みの構築が目的の一つであった。補助金で購入したモーションキャプチャシステムを用いて、ユーザが把持する実物体のみを常にボケさせるシステムを開発し、適切に動作することを確認した。また、被験者実験を実施し、同システムを用いた視線誘導が、従来用いられてきた矢印などを投影するアプローチに比べて、指示が分かりやすい、との知見が得られた。
もう一つの目的として、リアルタイム投影色補償に関して、CNNを用いた機械学習ベースの枠組みを導入することにより、投影映像の解像度低下を補正する処理を高速にする試みを開始し、実験によりその有効性および技術的限界を明らかにすること、を挙げていた。こちらに関しては、機械学習を行うために必要なデータセットを準備した。深層学習のためには、様々な奥行きの対象に対して、様々な画像を投影した結果を大量に確保する必要があるが、実セットアップを用いたデータセット構築は時間がかかりすぎ、十分なバリエーションを準備することが困難である。そこで、プロジェクションマッピングの光学現象を精緻にモデル化し、映像投影をシミュレーションする仕組みを構築し、大量の学習データを物理的な機材なしで生成できることに成功した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本年度の交付申請書に記した研究実施計画のうち、ユーザインタラクションによりボケ領域指定を可能にする、という項目については、当初計画以上の進展がみられた。今回構築したシステムはユーザインタラクションのみならず、ユーザが見ることを好まない実物体（例えば虫など）を指定すると、その実物体のみを常にボケさせることを可能にする。実空間の任意領域のみをボケさせることのできるシステムに関する研究をまとめた論文が、バーチャルリアリティ分野で権威ある国際会議IEEE VRの口頭発表に選抜され、同時に論文誌IEEE Transactions on Visualization and Computer Graphicsへの掲載もなされた。
CNNを用いた機械学習ベースでのリアルタイム投影色補償技術については、当初計画よりもやや遅れた。同技術をこれまでのグレイスケール画像投影からカラー投影で評価すべく、現状1台保有の高速プロジェクタ（グレイスケール）にもう1台を同軸追加してカラー2ch高速映像投影システムの構築を行うことを予定していた。しかしながら、高速プロジェクタ装置の製造元が同装置構成部品の突然の供給停止の影響で新規受注を延期したことが判明した。このため、カラー投影での実験を推進することはできなかった。このため、令和2年度に同プロジェクタを購入して実験を進めるため補助金を繰り越した。しかしながら、結局同プロジェクタの供給が大幅遅延することと、価格が2倍以上に値上げされたため、カラー化を断念せざるを得なかった。
|
| Strategy for Future Research Activity |
研究目的の一つであるリアルタイム投影色補償に関して、高速プロジェクタのカラー化を断念せざるを得なくなったため、グレイスケール画像投影における補償技術の開発を実施する。具体的には、投影映像の解像度低下を補正する処理を高速にする技術開発を進展させる。投影映像の解像度低下は、焦点ボケや表面化散乱によって生じる。これを補償するためには、投影する原画像にボケ具合に適応的なハイパスフィルタを適用する必要がある。この処理では、空間的に一様でないボケ具合に対応することと、プロジェクタの制約あるダイナミックレンジを考慮する必要がある。このため、一般的に解像度低下を補償する際に用いられるウィナーフィルタをそのまま適用しても、望ましい補償結果を得ることができないことが知られている。従来、この問題に対して、行数・列数がそれぞれプロジェクタ画素数となる巨大な光輸送行列を用いる手法が提案され、良好な補償結果が得られることが知られている。一方、この手法は計算時間が膨大で、インタラクティブに投影画像を生成することが難しい。そこで、CNNを用いた機械学習ベースの補償手法を開発している。令和元年度までに、映像投影をシミュレーションする仕組みを構築し、大量の学習データを物理的な機材なしで生成できることに成功した。令和2年度は、得られたデータを用いてネットワークを学習し、画像の更新レートと同様のスピードで補償画像を計算する手法の構築を目指す。
上記の研究成果は、種々の学術雑誌および国内外の主要会議で発表する。さらに、複数の招待講演等の機会を活かしたアウトリーチ活動にも積極的に取り組む。
|
Research Products
(6 results)
