2022 Fiscal Year Annual Research Report
英語母語話者の調音と音象徴を伝達するVR技術を基盤とした音声訓練法の設計
| Project/Area Number |
20K19936
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
福嶋 政期 九州大学, システム情報科学研究院, 准教授 (30761861)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 学習支援システム / VR / 実演 |
|---|
| Outline of Annual Research Achievements |
英語学習者が正しい調音や言語感覚を学ぶために、英語母語話者の音声や顔を学習者のものに変換して提示する調音学習システムを検討した（①）。また、英語の言語感覚を理解するために、バーチャル空間で身体や道具を使うことで単語の意味を再現しながら学習するシステムを検討した（②）。
①については、英語母語話者の音声を学習者の音声に変換する技術開発およびシャドーイング学習への適用可能性について検証した。音声変換は話者と目標話者が異なる言語を話す場合を対象とした声質変換技術であるクロスリンガル声質変換を利用し、英語母語話者の音声を日本人学習者の音声に変換した。シャドーイングへの適用については、英語母語話者の音声でシャドーウィングをする場合をベースラインとし、変換音声を使ったシャドーウィングをする場合と比較した。実験参加者の内観報告から、「自身の音高に近いので作業負荷が比較的小さくなる」という意見や「リズムやイントネーションが取りやすい」という意見を得た。
②については、英語の言語感覚を理解するために、バーチャル空間で身体や道具を使うことで単語の意味を再現しながら学習するシステムを実装した。例えばfondle（なでる）という単語を理解するために、実際に猫を撫でる動作をしたり、conjure（魔法をかける）という単語を理解するために、魔法陣に杖をかざすなどの動作しながら覚えるものである。この学習システムにおいて、バーチャル空間の背景（背景オブジェクトおよび背景描画）の有無が、英単語の記憶保持に与える影響を調べたところ、バーチャル空間での実演を伴う英単語学習において、背景描画の有無が、学習直後の記憶保持に影響する可能性が示唆された。最終年度は、既存のバーチャル環境に存在する豊かなコンテンツやオブジェクトデータから本システムで学習可能な他動詞を生成することに取り組んだ。
|
Research Products
(1 results)
