Low-latency Vision Augmentation Integrating High-Speed Human and Environmental Measurements with Field-of-View Prediction
| Project/Area Number |
22KJ0753
|
|---|
| Project/Area Number (Other) |
22J01340 (2022)
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund (2023)
Single-year Grants (2022) |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61020:Human interface and interaction-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
廣井 裕一 東京大学, 情報学環, 特別研究員(PD)
|
|---|
| Project Period (FY) |
2023-03-08 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | 低遅延視覚拡張 / 拡張現実感 / 光学歪み較正 / ニューラルレンダリング |
|---|
| Outline of Research at the Start |
本研究は、人間の知覚よりも速い速度で視界の書き換えを実現する視覚拡張技術を提案する。視覚拡張は、ユーザの視界に直接干渉することにより、視覚機能を制御・強化する概念である。近年では、計算機により適切な視覚刺激を計算し、頭部搭載型ディスプレイ等により装着者の視界を直接書き換える視覚拡張システムが提案されている。一方で、視覚刺激を提示する際の遅延に関する検討は十分でなく、実社会における視覚拡張の応用を狭めている。本研究では、実環境や人間の視覚・行動を高速度に計測し、装着者の視界変化を予測する。その後、実際の変化に先んじて視野に提示すべき視覚刺激を計算することで、低遅延視覚拡張システムの実現を目指す。
|
| Outline of Annual Research Achievements |
低遅延な視覚拡張技術の確立に向けて、今年度は以下の進捗があった。
■視覚計測に基づく視覚刺激の提示システム：低遅延な視覚拡張には、視野に提示すべき視覚刺激を高精細に計算し、ディスプレイ上で提示するシステムが必要である。今年度は、ユーザの視線位置・方向を計測し、それに応じたステレオ映像を深層学習により生成し、ディスプレイ上に提示するシステムを設計した。
■接眼ディスプレイ上の高精度な空間較正：視覚拡張には、実環境に対して空間的にズレのない映像提示が必要である。今年度は、頭部搭載型ディスプレイ(Head Mounted Display, HMD)において、視線位置・方向に応じて変化する提示画像の歪みを深層学習により高速にシミュレートする手法を提案した。
■低遅延な映像提示が可能な接眼ディスプレイ：低遅延な視覚拡張には、眼前に映像を低遅延で投射するディスプレイシステムが必要である。今年度は、ステアリングミラーと位置センシング素子による同軸光学系を使用し、眼前に低遅延で映像を投射するディスプレイシステムを設計した。
これらの成果を統合することで、本研究の要素技術の一つである「実際の変化に先んじて視野に提示すべき視覚刺激を計算し、接眼ディスプレイ上で低遅延に提示するシステム」が実現される。成果として、光学分野のトップ国際論文誌に1件掲載され、バーチャルリアリティに関する査読付き国際会議に1件採録され、さらに1件が国際論文誌で査読中である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画において記載した研究項目のうち、「空間的整合性を保った視覚刺激の高速な生成」に向けた要素技術となる研究が順調に進展している。
|
| Strategy for Future Research Activity |
本年度の研究は、主に低遅延視覚拡張に向けたハードウェアおよびディスプレイシステムに関する成果が主であった。今後の研究として、本年度に確立したディスプレイシステムの要素技術を統合し、低遅延な視覚拡張システムに向けたディスプレイのプロトタイプを実装する。また、ソフトウェア部分の研究項目である「視覚の高速度計測」および「装着者の視界変化予測」に関しても、当初の計画通り研究を推進する。
|
Report
(1 results)
Research Products
(2 results)
