| 研究課題/領域番号 |
22H03638
|
|---|
| 配分区分 | 補助金 |
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
暦本 純一 東京大学, 大学院情報学環・学際情報学府, 教授 (20463896)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| キーワード | 人間拡張 / 技能獲得支援 / 深層学習 / 技能判定 / 自己教師型学習 |
|---|
| 研究実績の概要 |
語学の発音、音楽表現、運動などの技能の習熟度を自動的に判定する深層学習モデルを構築し、技能獲得支援に応用することを目的とする。従来、これらの技能 の習熟度は、お手本となる例題に対して、練習者の再現度を判定する方法が主に用いられてきた。しかし、その方法では、特定のお手本のみを真似てしまい、応用力が低くなってしまう課題があった。一方、卓越した人間の指導者は練習者の技能習熟度を極めて短時間に判定することができる。このような機構を自動化できれば、人が技能を獲得するための機構解明になり、技能獲得支援の自動化に寄与する基盤技術となる。本年度は、自己教師型の深層学習機構を適用し、練習者の技能の習熟度を直接判定するニューラルネットワークモデルを構築した。また、モデルの注意機構により、試技の時系列上のどの箇所が習熟レベルの判定に寄与しているかの重要度も同時に推定する機構を構築した。これを練習者に示すことで、技能獲得支援のためのフィードバック情報として利用することができる。対象とする技能として語学(発音)と音楽表現を選定し、技能獲得支援のための深層学習モデルを構築した。本年度はさらに、学習者が発音練習が行うエンドユーザシステムを構築し、利用者評価を行った。音楽表現では、ピアノ練習の音響データを直接解釈する深層学習モデルを構築し、練習者の習熟レベルの判定、練習者の音楽表現の弁別を評価した。音楽表現においては、習熟度の異なる演奏者(音大学生ら)による試技を収集したデータセットを構築した。評価の結果、演奏習熟度、演奏表現ともに専門家評価と相関する結果を得られた。とくに演奏表現（明るい、暗い）などの評価が深層学習により自動化できた点が興味深く、次年度に続ける成果が得られた。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
申請書に記載した今年度の研究課題は順調に遂行した。
|
| 今後の研究の推進方策 |
音楽表現に関してはデータセットの拡充、被験者数の増強をはかり、研究知見の信頼度を向上させる。言語学習に関しては、知見をより実践的な語学学習支援システムとして統合する。
|
