2018 Fiscal Year Research-status Report
マルチモーダルセンシングと機械学習による身体スキル検出手法に関する研究
| Project/Area Number |
17K01098
|
|---|
| Research Institution | Kindai University |
|---|
Principal Investigator |
越智 洋司 近畿大学, 理工学部, 准教授 (80314847)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 身体スキル検出 / センシング技術 |
|---|
| Outline of Annual Research Achievements |
本年度は、「書き方スキル」「演奏スキル」「体操スキル」の3つに対象領域を絞って研究を進めてきた。ペンデバイスのセンサー情報を利用した「書き方スキル」の取得については、タブレットPC（Surface ProとiPad Pro）を購入し、筆跡情報と描画情報をもとに、画像認識と特徴量抽出の手法とを組み合わせて、書き方スキルの検出手法の実装を進めた。また、本手法を応用して、書画カメラを利用した紙媒体への塗り絵行動の認識の研究も並行して行い、有益な結果を得ている。こららの研究の成果は、国内学会にて発表を行っており、学会誌への論文投稿の準備を進めている。楽器演奏スキルを対象とした教育・学習支援システムの試作として、ドラム演奏の支援を対象としたシステム開発を進め、ドラム演奏時の奏法の違いや左右の動きの識別などの検出精度を高める手法を実装した。本研究の経過は、国内会議ならびに国際会議で発表しており、学会誌への論文投稿の準備を進めている。リカレントニューラルネットワークによる動作識別に関する研究については、ラジオ体操を対象に実装を進めており、本研究の経過は、国内会議ならびに国際会議で発表している。
これらの研究の成果は学内のイベントにておいても公開をしており、プロトタイプシステムを用いたデモや、一般参加者に対する試用を行っており、各システムの有用性が示唆された。
また、ドイツのリューベック大学への研究調査出張では、同大の研究グループと情報交換を行い、以後関連プロジェクトについての情報交換を続けていくこととなった。
また、昨年度に開発を進めたプレゼンテーション支援システムの研究の成果は、電子情報通信学会論文誌に掲載された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は、センサー類を利用して学習・教育情報の検出方法を検討し、機械学習による学習・教育支援が適用可能な対象領域の選定と支援モデルの構築、システム実装をすすめてきた。対象領域の選定については、「書き方スキル」「演奏スキル」「体操スキル」の3つに対象領域を絞って研究を進めており、開発は順調に進んでいる。機械学習技術の適用としては、リカレントニューラルネットワークの導入がベターであるという知見を得ることができ、それをベースに学習支援のための診断フィードバックを考慮したモデルについて検討する必要があることが明らかになった。研究の土台となるベースシステムはほぼ完成しており、現在までに培ってきた画像認識による動作認識手法を組み合わせることで、成果が期待できる。以上の進捗に問題がおきる可能性は少なく、概ね順調であると判断した。
|
| Strategy for Future Research Activity |
昨年度までの成果を元にしながら、「書き方スキル」「演奏スキル」「体操スキル」の3つについては、装着型モーションセンサーの利活用も検討にいれながらスキル検出の精度を上げ、機械学習によるスキル診断のプロトタイプの実装を進めながら、その有用性を検証し研究成果をまとめていく。また、本研究課題の成果を一過性のものとせず、次段階へと研究成果を拡張していくことを視野に入れて、新たに装着型モーションセンサーを利用したハンググライダーの操作検出についても研究を進める。機械学習の実装についてはモジュール化を意識して行い、様々な領域やシステムへの適用が可能な形にすすめていく。なお機械学習技術については、まだ調査が必要なところもあるため、システム実装と並行してセミナーなどに参加する予定である。
研究成果の公開については、国内学会、国際会議、学会誌への投稿を行なうだけでなく、センサーによる身体動作データも、個人情報保護を目的とした秘匿化を行った上で公開するプラットフォームを検討したい。また、開発したシステムのコードやモジュールの一部は、Githubなどのプラットフォームを利用して公開することを検討する。
|
| Causes of Carryover |
当初購入を予定していたモーションキャプチャーデバイスの購入費が少なく済んだためである。
現在研究に着手しているハンググライダー支援システムのシミュレーター機器購入費用として使用する。
|
