物体の形状などを認識させるマーカーを用いたマルチモーダルインタフェースの研究開発

2019 Fiscal Year Annual Research Report

• Project/Area Number: 18H03489
• Research Institution: Tohoku University of Art and Design
• Principal Investigator: 酒井 聡 東北芸術工科大学, デザイン工学部, 教授 (90515157)
• Co-Investigator(Kenkyū-buntansha): 若生 一広 仙台高等専門学校, 総合工学科, 教授 (90500893)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: ヒューマンインタフェース / 感性インタフェース / 情報デザイン / 工業デザイン / 画像処理

Outline of Annual Research Achievements

本研究の目的は、物体の形状などを認識させるマーカーを用いたマルチモーダル・インタフェースを研究開発することである。物体形状を認識させるためにはマーカーの認識精度などの高速化、また最適化が必要である。
2019年度は特に4K化を目標にプロジェクタの選定、GPUの処理などを見直し、投影速度の向上方法について検証を行った。特にプロジェクタについては4Kのレーザープロジェクタを納入し、その投影速度などを検証した。しかしながら、4K画像を処理するには実験用PCのGPUがやや非力であることなどが明らかになった。また、プロジェクタへの映像信号の送信方式を光ケーブルを用いることで向上を目指したが、大きな違いとならなかった。加えて、VRやARに用いるためにVRゴーグルを納入し、マーカー検知などを検証した。マーカーは問題なく検知できるが4K化と同様に実験用PCのGPUの処理能力が足らず、VRゴーグル内で映像を合成するなどまではできなかった。
上記の内容は、画像投影に特化した内容であったがハプティックの応用を含め検証し、マルチモーダル化の可能性を様々に探った。結果として、想定していた超指向性スピーカなどによる音波の合成によるハプティックの生成は、カード型スクリーン上では難しいことが明らかになった。これを実現するにはカード型スクリーンに新たに振動子を加えるなどの加工が必要であり、手軽に映像を手に取るように扱えるカード型インタフェースの良さを損なうことになるため、この方法は実装するには至らなかった。
最後に外部発表については、様々な公的機関との交渉の結果、幾つかの組織を候補とすることができた。また、社会実装のための協力企業などとも研究内容について情報共有を果たし、今後の協働について検討された。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

マルチモーダル・インタフェースを研究開発する本研究において、2020年2月頃から国内でも感染が拡大したコロナウイルスの影響は大きく、年度末の研究成果などを取りまとめる打合せ、実験などの予定が幾度となく延期となったため遅れが生じることとなってしまった。しかしながら、様々な事象のオンライン化により、本研究の成果の在り方を再検討するにいたり、結果として改な方針などをたてることができた。

Strategy for Future Research Activity

進捗状況でも記載した通り、2020年2月頃から国内でも感染が拡大したコロナウイルスの影響を受け、2020年度の計画などを変更することに至った。特に実証実験や研究成果の公開発表などの方法は大きく見直す必要がある。
本研究の特徴である誰もが映像を手に取るように扱えるカード型スクリーンを複数人が触れることが望まれない状況などになってしまったため、その対策などを検討する必要がある。対策については既に目処がたち研究期間内で対応が可能であり、それらを実施し、感染症対策を施した実験機を公共施設で実証実験することが決まっており、進捗状況の遅れは取り戻せる予定である。