| Project/Area Number |
23K11189
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61020:Human interface and interaction-related
|
|---|
| Research Institution | Kindai University |
|---|
Principal Investigator |
古賀 崇了 近畿大学, 産業理工学部, 准教授 (70452828)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2025: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2023: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
|
|---|
| Keywords | 空中映像 / インタラクション / マルチモーダル画像認識 / ナチュラルユーザインターフェイス / インタラクティブアート |
|---|
| Outline of Research at the Start |
本研究課題では，空中結像により得られる映像に水・霧などの透明な媒体を用いた映像表現を付加することで，多様な空間表現を可能とするディスプレイ技術を開発する．さらに，そのディスプレイが映像を呈示する空間に対して可視光・近赤外・短波赤外・深度・熱画像を組み合わせたマルチモーダルな画像センシングを行い，映像が投影される空間の状態をこれらの画像から推定して映像コンテンツに反映させるための深層学習モデルを構築する．これにより，空間中に提示される映像と人との自然なインタラクションを実現するシステムの基盤構築を目指す．構築するシステムの有効性は，インタラクティブアートへの実応用と評価実験により検証する．
|
| Outline of Annual Research Achievements |
本研究課題では、空中結像による映像を水・霧などの透明な媒体を用いた映像表現により拡張することで、より多様な空間表現を可能とするインタラクティブアートへの応用を志向したディスプレイ技術を開発する。さらに、そのディスプレイが映像を呈示する空間に対して可視光・近赤外・短波赤外・深度・熱画像を組み合わせたマルチモーダルな画像センシングを行い、これらの情報からインタラクションの状態を推定して映像コンテンツに反映させるための深層学習モデルを構築することを目的としている。
本年度は当初の予定通り、申請期間中に研究で一貫して利用する可視光帯から短波長赤外帯までの画像、Time of Flight(ToF)センサを用いた深度画像、サーモカメラにより得られる熱画像を統合したマルチモーダル撮像系の構築を主に行った。特に、可視光画像と赤外線画像間のレジストレーション、複数種の画像を融合する深層学習モデルを利用し、物体の濡れ情報を含めた画像分類・検出方法の基礎的検討を行った。さらに、映像を提示するためのテーブルトップ型のディスプレイ装置として、ASKA 3Dプレートを用いた空中結像系、フォグディスプレイ、ウォーターディスプレイを統合した映像投影システムを構築した。また、空中結像により提示される映像が内容によっては平面的に見えがちであるという問題点を解決するために、インタラクティブアートで利用することを想定した映像を粒子によって表現する手法の有効性について実験と検討を行った。これらの成果については、国内学会にて報告を行っている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の予定通り、複数のディスプレイシステムを統合した映像呈示システムと複数のイメージセンサによる同時撮像系を構築し、深層学習による物体分類・検出の基礎的検討を実施した。また、基本的な映像撮影・呈示条件の検証およびシステム・ソフトウェアの実装を進めた。一部、従来から使用しているディスプレイ装置およびカメラの故障などの事情により、主要な研究機材の新規調達や修理に時間を要したが、全体としては順調に進展している。
|
| Strategy for Future Research Activity |
引き続き研究計画に従い、前述のシステムを利用した撮像・投影環境において、多様な物体と水・霧・濡れを組み合わせたさまざまな状況を作り出し、大量のデータセットを作成する。これを利用して、深層学習による物体位置の特定とカテゴリ分類のためのモデル構築を行い、その性能向上を図ることを目指す。さらに、最終年度に向けて、本システムを利用した新たなコンテンツの構想をまとめる。
|
