2020 Fiscal Year Annual Research Report
認知科学的分析に基づくインタラクションサイクルモデルを礎としたスキル学習支援環境
| Project/Area Number |
17H01996
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
曽我 真人 和歌山大学, システム工学部, 准教授 (60252839)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
三浦 浩一 和歌山大学, データ・インテリジェンス教育研究部門, 講師 (70362861)
|
|---|
| Project Period (FY) |
2017-04-01 – 2022-03-31
|
| Keywords | スキル / 学習支援 / 語学 / ドローン / VR / AR |
|---|
| Outline of Annual Research Achievements |
ARマーカを用いた語学スキルの学習支援システムについては，中国語を対象言語として，単語を各ARマーカに紐づけし，それらを学習者が並べ替えて，文法的に正しい順序に並べると，正解であることをAR表示する学習支援システムを構築した．各単語のマーカのみをカメラを通して見ると，その単語の意味を表すものをARで視覚的に表示する機能を持たせた．これにより，学習者は楽しみながら学習できた．
VRを用いた単語の概念学習では，単語の綴りと単語が意味するイメージを結び付けて学習する必要がある．すなわち，単語の学習をスキル学習におけるインタラクションのサイクルで説明すると，①認識に相当するのは，単語の意味する概念のイメージを認識することであり，②判断に相当するのは，そのイメージに対する単語を選択することであり，③行動に相当するのは，VR空間内のその単語に触れて，状態変化を起こすことである．このような①②③をスムースに学習支援するために，VRを利用して，その中に配置したオブジェクトを学習者がHMDで視覚的に認識し，単語を学習できるようにした．
デッサン人形を用いた人物画スケッチ学習支援システムに関する研究では，学習者がデッサン人形を操作しながら姿勢を決定すると，VR空間の人体モデルがそれに合わせた姿勢となり，その人体モチーフをスケッチする．システムは，学習者が描いた人体モチーフを診断し，正解となるスケッチ画との差分に応じてフィードバックを行った．
ドローンの操作スキルの学習支援システムに関する研究では，ドローンの操作スキルの学習支援を行うため，ARを利用して，ドローンが通過すべき枠を学習者に提示し，そこを通過してゴールにたどり着く訓練を行うシステムを構築した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
R2年度のはじめに提出した交付申請書に記載した研究計画に沿って研究を行い，おおむね，計画通りに進んでいるので，「おおむね順調に進展している」とした．
|
| Strategy for Future Research Activity |
語学学習支援システムについては，引き続き洗練してゆく．単語学習については，VR空間内のオブジェクトの数を増やし，視覚的に変化が起こる仕掛けを単語の概念に結び付けてゆく．ARマーカを用いた中国語学習支援では，ARマーカを用いる長所を明確にし，それを確認できる実験計画が必要である．
動作スキル学習支援の研究では，ロードバイクに乗っている学習者の姿勢を診断するシステムを構築や，スキー場での危険回避のスキルを学ぶためのVR空間を利用した体験学習支援システムを構築してゆく．
楽器演奏スキルの学習支援では，龍笛を対象楽器として，その演奏における音声データから，楽譜との対応付けがとれているかどうかを診断するシステムを構築してゆく予定である．また，MIDI対応のエレキギターを用いて，ギター学習支援システムも構築してゆく．
ドローンの操縦スキル学習支援では，撮影対象物を指定したときに，それを有効に撮影できるインタフェースを構築してゆく．
デザイン学習支援では，機械学習を応用して，簡略デザインを入力すると，精緻なデザインを表示するシステムを構築してゆく．
|
