2020 Fiscal Year Annual Research Report
Construction of Learning Support AI Platform based on Prediction Model of Skill Acquirement
| Project/Area Number |
19H04157
|
|---|
| Research Institution | Future University-Hakodate |
|---|
Principal Investigator |
竹川 佳成 公立はこだて未来大学, システム情報科学部, 准教授 (60467678)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
平田 圭二 公立はこだて未来大学, システム情報科学部, 教授 (30396121)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 技能 / 学習支援 / AI / ヒューマンコンピュータインタラクション |
|---|
| Outline of Annual Research Achievements |
本研究の目的はHCI（ヒューマンコンピュータインタラクション）技術および機械学習を統合した技能習得予測モデルの構築および学習支援AI基盤の構築である．
当該年度は，技能習得データセット構築に注力した．イラスト描画・プレゼンテーション・コミュニケーション・ピアノ・プログラミングといった幅広い分野を対象に取り組んだ．，幾何図形から構成されるイラストの模写のスキルを予測するために，3種類の幾何図形から構成される課題イラストを模写するという練習を1日20分間，5日間連続した場合における模写の精度を追跡調査した．データを効率的に取得するために実験システムを開発した．昨年度分に蓄積したデータの2倍に相当するデータを収集した．また，HCI for ML (Machine Learning)という文脈で，描画されたイラストの模写の採点を効率化するシステムを開発した．さらに，プレゼンテーション技能習得のために，複数のカメラを用いて撮影された多視点映像から視聴者が視聴したいカメラ映像を選択する（スイッチング）タスクを効率的に行うためのインタフェースを開発した．カメラスイッチング初心者177人に対して3種類の発表映像のスイッチング選好データを収集できた．本インタフェースは視聴行為を阻害せずにアノテーション数を増加させることに成功した．
これらの研究成果は，学術論文誌1件に採録され，国際会議4件，国内会議10件にて発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当該年度は．技能習得データセット構築に注力した．イラスト描画・プレゼンテーション・コミュニケーション・ピアノ・プログラミングといった幅広い分野を対象にデータセットを効率的に集積するための実験システムの開発を進めることができた．また，HCI for MLに資するデータセット収集インタフェースを提案できた．
|
| Strategy for Future Research Activity |
本年度は，オンラインベースのスタンドアロンで動く実験システムを活用し，中長期的な被験者実験に取り組む．また，被験者実験データをもとに，構築したデータセットに対して機械学習・伝統的統計モデリングを利用してスキルの数理モデルを構築する．
また，技能習得予測モデルを活用した学習支援AI基盤の構築に着手する．例えば，現状のスキルの可視化，最終目標の設定ができる機能をもつ練習記録およびプラン構築ツールの開発，練習プランで練習し続けた場合における今後の習得度予想を効果的に提示する技術を確立する．また，提案した技能習得予測モデルの結果を効果的に可視化する手法を提案する．例えば，知識や経験のある教師に対しての可視化方法と，練習に取り組んでいる学習者に対しての可視化方法はそれぞれ異なる．練習時の視線といった生理データ，質問紙調査といった定量的なデータ，インタビューによる言語報告といった定性的なデータをもとに各技術の有用性を検証する．
|
Research Products
(15 results)
-
-
-
[Presentation] PerformEyebrow: Design and Implementation of an Artificial Eyebrow Device Enabling Augmented Facial Expression2021
Author(s)
Masui, M., Takegawa, Y., Nonoka N., Tokuda, Y., Sugiura, Y., Masai, K., and Hirata, K.
Organizer
the 23rd International Conference on Human-Computer Interaction
Int'l Joint Research
-
-
[Presentation] Digital Full-Face Mask Display with Expression Recognition using Embedded Photo Reflective Sensor Arrays2020
Author(s)
Takegawa, Y., Tokuda, Y., Umezawa, A., Suzuki, K., Masai, K., Sugiura, Y., Sugimoto, M., Plasencia, M. D., Subramanian, S., and Hirata, K.
Organizer
the 2020 IEEE International Symposium on Mixed and Augmented Reality (ISMAR)
Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
