2017 Fiscal Year Annual Research Report
高速プロジェクションを基盤として実現するマルチモーダルインタラクション環境
| Project/Area Number |
16H02853
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
鏡 慎吾 東北大学, 情報科学研究科, 准教授 (90361542)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
嵯峨 智 熊本大学, 大学院先端科学研究部(工), 准教授 (10451535)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | ユーザインタフェース / マルチモーダルインタフェース / 画像，文章，音声等認識 / バーチャルリアリティ / ディスプレイ |
|---|
| Outline of Annual Research Achievements |
本年度は，前年度に実施した各要素技術の基礎検討をさらに深化させるとともに，具体的なシステム実装に取り組んだ．
共通基盤システムに関しては，カラー映像の投影が可能な新しい高速プロジェクタプラットフォームを導入し，高速カメラと接続したプロジェクタ・カメラシステムを構成した．これにより，カラー化に加えてHDMI入力が使用できるようになり，あらかじめプロジェクタ内メモリにロードしたコンテンツのみを利用できた前システムと比べて柔軟性が高まった．一方，光刺激パターンを画像系列としてあらかじめメモリに保持しておくことも依然として有用であるため，HDMIをリアルタイム映像入力だけではなくオフラインのパターンロードにも使用できるようファームウェアの拡張を行った．
振動に基づくインタラクション検出に関しては，前年度に検討した機械学習による振動信号からのタッチ検出をより精密化するため，データセットの整備を行った．紙面を連続してタッチする映像を音声とともに記録し，音声信号のピークをタッチイベントが発生した真の時刻とみなして，教師あり学習および検証を実施できるようにした．複数の手法の予備評価の結果，画像の時刻間の類似度に基づいて生成した時系列信号を特徴として畳み込みニューラルネットワークによる識別を行う方法により比較的良好な結果が得られることがわかった．
熱放射による力覚提示に関しては，キャリブレーション手法の改良を継続し，特に位置および放射強度の補正手法を開発した．また，これまでのハロゲンランプ光源に代わってレーザ光源を用いる方法について検討を行った．衝突感提示に関しては，視覚刺激によって誘発される擬似力覚による衝突感の強化について検討し，予備評価により視覚刺激の有意な効果を確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
刺激提示方法についての検討に時間を要したことから，経費の一部を平成30年度に繰り越して研究を継続した．これによる遅れ以外に関しては概ね順調に進んでいる．
|
| Strategy for Future Research Activity |
当初予定に従って，アプリケーションシステムとして各要素技術を統合することにより各手法およびそれらの組み合わせの有用性を評価する．
|
