2022 Fiscal Year Annual Research Report
深層学習による技能習熟度の自動判定と技能獲得支援に関する研究
| Project/Area Number |
22H03638
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
暦本 純一 東京大学, 大学院情報学環・学際情報学府, 教授 (20463896)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 人間拡張 / 技能獲得支援 / 深層学習 / 技能判定 / 自己教師型学習 |
|---|
| Outline of Annual Research Achievements |
語学の発音、音楽表現、運動などの技能の習熟度を自動的に判定する深層学習モデルを構築し、技能獲得支援に応用することを目的とする。従来、これらの技能の習熟度は、お手本となる例題に対して、練習者の再現度を判定する方法が主に用いられてきた。しかし、その方法では、特定のお手本のみを真似てしまい、応用力が低くなってしまう課題があった。一方、卓越した人間の指導者は練習者の技能習熟度を極めて短時間に判定することができる。このような機構を自動化できれば、人が技能を獲得するための機構解明になり、技能獲得支援の自動化に寄与する基盤技術となる。自己教師型の深層学習機構を適用し、練習者の技能の習熟度を直接判定するニューラルネットワークモデルを構築することを目的とする。モデルの注意機構により、試技の時系列上のどの箇所が習熟レベルの判定に寄与しているかの重要度も同時に推定することができ、これを練習者に示すことで、技能獲得支援のためのフィードバック情報として利用することができる。計画初年度である本年では、対象とする技能として語学（発音）と音楽表現、を選定し、技能獲得支援のための深層学習モデルを構築した。エンドユーザレベルで発音練習が行えるシステムを構築し、利用者評価を行った。また、音楽表現ではピアノ練習の音響データを直接解釈する深層学習モデルを構築し、練習者の習熟レベルの判定、練習者の音楽表現（明るい・暗いなどの表現）の弁別を評価した。音楽表現においては、習熟度の異なる演奏者（音大学生ら）による試技を収集したデータセットを構築した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
申請書に記載した初年度の研究課題は順調に遂行した。音楽表現においては、当初想定していなかったフィードバックシステムや、技能レベルにとどまらない音楽表現においても本モデルが適用可能であることを見いだした。
|
| Strategy for Future Research Activity |
初年度研究内容に関する論文発表を次年度に計画している。技能判定システムとして、エンドユーザが実際に使える機構の構築と評価を行う。
|
