| Project/Area Number |
23K24894
|
|---|
| Project/Area Number (Other) |
22H03638 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
暦本 純一 東京大学, 大学院情報学環・学際情報学府, 教授 (20463896)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,550,000 (Direct Cost: ¥13,500,000、Indirect Cost: ¥4,050,000)
Fiscal Year 2024: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2023: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
Fiscal Year 2022: ¥7,930,000 (Direct Cost: ¥6,100,000、Indirect Cost: ¥1,830,000)
|
|---|
| Keywords | ヒューマンコンピュータインタラクション / 人間拡張 / 技能獲得支援 / 深層学習 / 技能判定 / 自己教師型学習 / 技能獲得 / 発音支援 |
|---|
| Outline of Research at the Start |
語学の発音、音楽表現、運動などの技能の習熟度を自動的に判定する深層学習モデルを構築し、技能獲得支援に応用することを目的とする。卓越した人間の指導者は、練習者の技能習熟度を極めて短時間に判定することができる。このような機構を自動化できれば、人が技能を獲得するための機構解明になり、技能獲得支援の自動化に寄与する基盤技術となる。本研究は、自己教師型の深層学習を適用し、練習者の技能の習熟度を直接判定するモデルを構築する。注意機構により、時系列上のどの箇所が習熟レベルの判定に寄与しているかの重要度も同時に推定することができ、技能獲得支援のためのフィードバック情報として利用することができる。
|
| Outline of Annual Research Achievements |
語学の発音、音楽表現、運動などの技能の習熟度を自動的に判定する深層学習モデルを構築し、技能獲得支援に応用することを目的とする。従来、これらの技能 の習熟度は、お手本となる例題に対して、練習者の再現度を判定する方法が主に用いられてきた。しかし、その方法では、特定のお手本のみを真似てしまい、応用力が低くなってしまう課題があった。一方、卓越した人間の指導者は練習者の技能習熟度を極めて短時間に判定することができる。このような機構を自動化できれば、人が技能を獲得するための機構解明になり、技能獲得支援の自動化に寄与する基盤技術となる。本年度は、自己教師型の深層学習機構を適用し、練習者の技能の習熟度を直接判定するニューラルネットワークモデルを構築した。また、モデルの注意機構により、試技の時系列上のどの箇所が習熟レベルの判定に寄与しているかの重要度も同時に推定する機構を構築した。これを練習者に示すことで、技能獲得支援のためのフィードバック情報として利用することができる。対象とする技能として語学(発音)と音楽表現を選定し、技能獲得支援のための深層学習モデルを構築した。本年度はさらに、学習者が発音練習が行うエンドユーザシステムを構築し、利用者評価を行った。音楽表現では、ピアノ練習の音響データを直接解釈する深層学習モデルを構築し、練習者の習熟レベルの判定、練習者の音楽表現の弁別を評価した。音楽表現においては、習熟度の異なる演奏者(音大学生ら)による試技を収集したデータセットを構築した。評価の結果、演奏習熟度、演奏表現ともに専門家評価と相関する結果を得られた。とくに演奏表現（明るい、暗い）などの評価が深層学習により自動化できた点が興味深く、次年度に続ける成果が得られた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
申請書に記載した今年度の研究課題は順調に遂行した。
|
| Strategy for Future Research Activity |
音楽表現に関してはデータセットの拡充、被験者数の増強をはかり、研究知見の信頼度を向上させる。言語学習に関しては、知見をより実践的な語学学習支援システムとして統合する。
|
