| Project Area | Analysis and synthesis of deep SHITSUKAN information in the real world |
|---|
| Project/Area Number |
20H05958
|
|---|
| Research Category |
Grant-in-Aid for Transformative Research Areas (A)
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Transformative Research Areas, Section (IV)
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
岩井 大輔 大阪大学, 基礎工学研究科, 准教授 (90504837)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
伊藤 勇太 東京大学, 大学院情報学環・学際情報学府, 特任准教授 (10781362)
|
|---|
| Project Period (FY) |
2020-11-19 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥101,140,000 (Direct Cost: ¥77,800,000、Indirect Cost: ¥23,340,000)
Fiscal Year 2022: ¥17,680,000 (Direct Cost: ¥13,600,000、Indirect Cost: ¥4,080,000)
Fiscal Year 2021: ¥17,810,000 (Direct Cost: ¥13,700,000、Indirect Cost: ¥4,110,000)
Fiscal Year 2020: ¥27,170,000 (Direct Cost: ¥20,900,000、Indirect Cost: ¥6,270,000)
|
|---|
| Keywords | 拡張現実感 / 人間拡張 / 光学シースルーHMD / プロジェクションマッピング / 質感の科学 |
|---|
| Outline of Research at the Start |
人の視覚に機械視覚を融合することで、人間の質感認識能力を飛躍的に向上させることを目標とする。機械視覚は、人の視覚よりもはるかに高い時空間・波長解像度で光の伝播を捉え、実物から放射される光線場を精緻に分解できる。そこで本研究では、機械視覚が捉える質感情報を人の知覚できる形に変換して視界に与え、人の外界モデルをアップデートすることで、深奥質感の生成に迫る。具体的には、実物から放射される光線場を、人間の目に届く直前で直接操作する装着デバイス（光変調眼鏡）を開発し、それによって人の質感認識能力を向上させることができるか、を明らかにする。
|
| Outline of Annual Research Achievements |
本年度は、（１）実物反射光から、直接・間接反射成分を分離し、それを人の視界に直接与えることのできる、質感分離スコープの性能向上と、（２）光学シースルーディスプレイに光線の加算減算を可能とする光変調眼鏡の構築と、「陰影」や「焦点ボケ」の再現といった新規な質感提示技術の構築を、当初の目標としていた。
（研究項目１）質感分離スコープでは、複数枚の空間高周波パタン画像を対象に照射し、直接照射していない箇所のみを透過させる空間遮蔽マスクを通してそれを観察することで、間接反射成分のみを観察することができる。昨年度構築したシステムでは、透過型液晶を用いて直接反射成分を空間的にブロックする仕組みとしていたが、特に視線方向に装置が長大になってしまうという欠点があった。そこで、反射型液晶であるLCoS (liquid crystal on silicon) を用いて光路を折り畳めるようにすることで、装置のスリム化に成功した。また、照射パタンと透過パタンとの位置ずれにより縞模様のアーチファクトが視認されるという問題があったが、光学系を再設計して位置ずれを改善することに成功した。また、分離に必要となるパタン数を少なくする研究を行い、最小で2枚のチェッカパタンを投影するだけで間接反射成分を観測可能であることを明らかとした。
（研究項目２）加算減算可能な光学シースルーディスプレイを構築し、新規な質感提示アプローチとして「陰影」を忠実に再現する技術を開発した。実験により、実物からの影を重畳する仮想物体に反映することや、仮想物体からの影を実物に重畳させることにも成功した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度の2つの当初目標それぞれについて、研究がおおむね順調に進展したと考えている。
（研究項目１）前年度に構築した質感分離スコープの性能を向上させることができた。特に、LCoSを用いた光学系を採用することで、装置がスリム化され、さらにパターンを工夫することでより少ないパターン数での分離が可能となった。年度当初の交付申請での目的が達成されており、順調に進展したと考えている。国内会議にて成果発表も実施できている。
（研究項目２）仮想物体と実物体との間での相互な陰影の再現が可能となったことから、交付申請での目的の一部が達成されており、研究は概ね進展したものと考えている。この成果は、拡張現実に関する主要な国際会議IEEE International Symposium on Mixed and Augmented Reality 2021にて口頭発表した。
上記に加え、プロジェクションマッピングおよびデジタルファブリケーション技術を用いた質感提示技術についても研究が進展している。
|
| Strategy for Future Research Activity |
本年度の結果をうけて、代表者、分担者は以下のように研究を推進することとする。
【代表者】被験者実験を実施して、質感分離眼鏡のの性能評価を行う。またそれと並行して、プロジェクションマッピングを用いた質感編集にも取り組む。具体的には、近接閲覧環境を想定して、近年のスマートフォンのディスプレイに匹敵する高解像度投影システムを構築し、その質感編集性能を評価する。
【分担者】光線の加算減算が可能な光学シースルーディスプレイの開発と、それを用いた新規な質感提示技術の開発に継続して取り組む。また来年度以降は、光学シースルーディスプレイを用いた質感提示において、不可視な情報を可視化することで、現実空間の場の質感を変調することが可能となるかどうかについての調査も実施する。その最初の例として、シュリーレン撮影法を用いて空気の流れ場を計測するシステムを構築し、それを光学シースルーディスプレイと組み合わせることを試みる。
|
Report
(2 results)
Research Products
(12 results)
