2023 Fiscal Year Research-status Report
Development of a multimodal image recognition system for realizing natural interaction with mid-air images
| Project/Area Number |
23K11189
|
|---|
| Research Institution | Kindai University |
|---|
Principal Investigator |
古賀 崇了 近畿大学, 産業理工学部, 准教授 (70452828)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | 空中映像 / インタラクション / マルチモーダル画像認識 / ナチュラルユーザインターフェイス / インタラクティブアート |
|---|
| Outline of Annual Research Achievements |
本研究課題では、空中結像による映像を水・霧などの透明な媒体を用いた映像表現により拡張することで、より多様な空間表現を可能とするインタラクティブアートへの応用を志向したディスプレイ技術を開発する。さらに、そのディスプレイが映像を呈示する空間に対して可視光・近赤外・短波赤外・深度・熱画像を組み合わせたマルチモーダルな画像センシングを行い、これらの情報からインタラクションの状態を推定して映像コンテンツに反映させるための深層学習モデルを構築することを目的としている。
本年度は当初の予定通り、申請期間中に研究で一貫して利用する可視光帯から短波長赤外帯までの画像、Time of Flight(ToF)センサを用いた深度画像、サーモカメラにより得られる熱画像を統合したマルチモーダル撮像系の構築を主に行った。特に、可視光画像と赤外線画像間のレジストレーション、複数種の画像を融合する深層学習モデルを利用し、物体の濡れ情報を含めた画像分類・検出方法の基礎的検討を行った。さらに、映像を提示するためのテーブルトップ型のディスプレイ装置として、ASKA 3Dプレートを用いた空中結像系、フォグディスプレイ、ウォーターディスプレイを統合した映像投影システムを構築した。また、空中結像により提示される映像が内容によっては平面的に見えがちであるという問題点を解決するために、インタラクティブアートで利用することを想定した映像を粒子によって表現する手法の有効性について実験と検討を行った。これらの成果については、国内学会にて報告を行っている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の予定通り、複数のディスプレイシステムを統合した映像呈示システムと複数のイメージセンサによる同時撮像系を構築し、深層学習による物体分類・検出の基礎的検討を実施した。また、基本的な映像撮影・呈示条件の検証およびシステム・ソフトウェアの実装を進めた。一部、従来から使用しているディスプレイ装置およびカメラの故障などの事情により、主要な研究機材の新規調達や修理に時間を要したが、全体としては順調に進展している。
|
| Strategy for Future Research Activity |
引き続き研究計画に従い、前述のシステムを利用した撮像・投影環境において、多様な物体と水・霧・濡れを組み合わせたさまざまな状況を作り出し、大量のデータセットを作成する。これを利用して、深層学習による物体位置の特定とカテゴリ分類のためのモデル構築を行い、その性能向上を図ることを目指す。さらに、最終年度に向けて、本システムを利用した新たなコンテンツの構想をまとめる。
|
| Causes of Carryover |
申請時にはカメラレンズや光学素子などの物品を全て初年度に購入する予定で計上していたが、特定の組み合わせで実験を行い、その後の研究の進捗に応じて適宜必要なものを調達するように経費の執行計画を若干変更したため、次年度の使用額が生じた。次年度以降の実験の進捗に合わせて、適宜、前述の物品の購入を目的として使用する予定である。
|
