2017 Fiscal Year Research-status Report
スマートホンを用いたモバイル仮想職業訓練システムの構築
| Project/Area Number |
17K01160
|
|---|
| Research Institution | Osaka Institute of Technology |
|---|
Principal Investigator |
宮脇 健三郎 大阪工業大学, 情報科学部, 准教授 (30585005)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | Mixed Reality / ディープラーニング / 職業訓練 / 教材情報システム |
|---|
| Outline of Annual Research Achievements |
本研究では，モバイル仮想職業訓練システムの実現を目標とし，次の３つのサブテーマを掲げている
（１）仮想職業訓練環境におけるユーザの行動認識方式の確立…ユーザによる仮想物体の移動や仮想的な機器の操作等の履歴から行動を認識する．
（２）ユーザの行動に対するリアルタイムな評価方式の確立…熟練者の模範行動モデルを生成し，ユーザの行動をそれと比較して，リアルタイムに評価する．
（３）モバイル仮想職業訓練システムの有効性評価…実装したシステムがどの程度職業訓練に利用可能かを評価する．
今年度はサブテーマ（１）に取り組み，スマートホン搭載型のヘッドマウントディスプレイとカメラ，ARマーカを使い仮想的な調理場を模した職業訓練環境を構築して，調理器具の操作などを認識できるようにした．今回の行動認識では，スマートホンに付属のカメラ以外に特別なセンサを必要としておらず，非常に簡便なシステムで実現することができた．さらに，仮想環境のさらなるリアリティを向上させるべく，現実の素材の摩擦や反発係数などを仮想環境に取り組む方法を研究し「Mixed Realityにおける現実物体の物理属性を考慮したシーン生成」と題して学会（インタラクション2018）で発表した．なお，この発表はプレミアム発表に選定されている．さらに，センサを用いた人間の手の動作認識に関する研究を音楽分野にも応用し，「音楽表現を拡張するジェスチャ操作楽器の開発」として同じくインタラクション2018にて発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
先述したとおり，今年度は当初目標通りサブテーマ(1)を達成しており，研究計画は順調に推移している．
今後も計画通り進められるように注力したい．
|
| Strategy for Future Research Activity |
通常のカメラではなく3次元の空間認識が可能なデプスカメラを搭載したスマートホンを入手している．この新しい機能を用いることで，ARマーカに頼らずとも仮想的な職業訓練環境を実装できる可能性があるので調査したい．また，スマートホンに接続可能な筋電センサなども開発されてきているので併せて利用し，さらに現実に近い職業訓練環境を実装したいと考えている．
|
| Causes of Carryover |
学会発表において旅費と宿泊費、参加費を見込んでいたが、参加費に宿泊費が含まれていたため余剰が生じた。次年度の助成金とあわせて機材購入もしくは学会発表への出張費用として有効に活用したい。
|
