2018 Fiscal Year Annual Research Report
ヒューマン顔ライブ拡張現実のための動的プロジェクションマッピングの研究
| Project/Area Number |
17H04691
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
岩井 大輔 大阪大学, 基礎工学研究科, 准教授 (90504837)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | プロジェクションマッピング / プロジェクタ・カメラ系 / 拡張現実感 / 人間拡張 |
|---|
| Outline of Annual Research Achievements |
平成30年度は、高速プロジェクタを用いて投影対象を空間非一様にボケさせる技術について研究を進めた。本技術は、観察者が装着する可変焦点レンズを、人が知覚できないほど高速に駆動 (> 60 Hz) して前後に合焦距離を周期変調する。シーン中でクリアにしたい領域には、高速プロジェクタから合焦した際にのみ光を照射する。一方、ボケさせたい領域には、合焦しないタイミングで光を照射する。これにより、シーン中の任意箇所のみ光学的にボケさせることが可能となり、人の顔のシワを消すような効果を実現することが可能となる。本技術の光学設計、投影パターンの最適化などの要素的研究に取り組み、技術的限界についての知見を得た。さらに、複数の応用システムを実装し、実応用するための設計指針を得た。本年度は他にも、投影像を高速に微小移動しつつ高速に切り替えて重畳することで、超解像度化し、顔面皮膚下の散乱による解像度低下を抑える研究を進めた。前年度シミュレーションベースでの検討段階にとどまっていたものを実機実装し、その有効性を確認するとともに、最適な微小移動パターンの算出方法について検討を行った。研究目的の１項目であるリアルタイム投影色補償に関しては、焦点ボケ補償に対象を絞り、アルゴリズム構築に着手し始めたところである。投影対象が移動することを考慮すると、投影画像の焦点ボケが画質劣化の支配的要因となるため、これを低遅延に補償することが重要となる。従来、処理コストが極めて高く、リアルタイム処理が困難とされてきた当該処理を学習ベースの処理へと置き換え高速化することを念頭に、深層ニューラルネットワークを用いた手法の検討を進めた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度の交付申請書に記した研究実施計画の内、対象の任意位置の空間周波数を変調可能とする原理についての応用可能性および技術的限界を調査する、という項目については、当初の計画以上の進展が見られた。特に顔の皺を消すという単一の応用だけでなく、視線誘導や情報隠蔽といった当初予定以外の複数の応用システムを実装することができ、高い応用可能性を示すことができた。また、当該研究の発表に対して賞を受賞した。（システム制御情報学会SCI学生発表賞：上田龍幸, 井澤英俊, 岩井大輔, 佐藤宏介, "高速プロジェクタと可変焦点レンズを用いた空間的に非一様な合焦距離変調," 第62回システム制御情報学会研究発表講演会講演論文集, 356-3 (6 pages), 2018.）
一方で、1,000 Hzプロジェクタ・カメラシステムを用い、高速な色補償および焦点ボケ補償といった各種基盤技術の構築を進める、という項目については、焦点ボケ補償に関して検討を開始した段階であり、十分に進捗したとは言えない。上記を統合すると、概ね順調に進捗していると考える。
|
| Strategy for Future Research Activity |
今後は、高速プロジェクタを用いて投影対象を空間非一様にボケさせる技術について、さらに技術開発を進展させる。特に、実空間中の特定箇所をユーザがジェスチャ等で指定すると、その箇所のボケ具合を変調させるような、インタラクティブな枠組みの構築に力を注ぐ。これには、ユーザ視点の高速トラッキングおよびジェスチャの高速認識が必要であることから、関連する技術開発を進める。また、研究目的に記したリアルタイム投影色補償に関して、CNNを用いた機械学習ベースの枠組みを導入することにより、従来莫大な計算コストが必要であった、投影映像の解像度低下を補正する処理を、高速にする試みを開始し、実験によりその有効性および技術的限界を明らかにしていきたい。
上記の研究成果は、種々の学術雑誌および国内外の主要会議で発表する。さらに、複数の招待講演等の機会を活かしたアウトリーチ活動にも積極的に取り組む。
|
