2007 Fiscal Year Annual Research Report
音声映像合成モデルによる英語情動学習支援システム開発のための研究
| Project/Area Number |
19509003
|
|---|
| Research Category |
Grant-in-Aid for Special Purposes
|
| Research Institution | Chubu University |
|---|
Principal Investigator |
ヤーッコラ伊勢井 敏子 Chubu University, 人文学部, 准教授 (00454364)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
広瀬 啓吉 東京大学, 情報理工学系研究科, 教授 (50111472)
森島 繁生 早稲田大学, 理工学術院, 教授 (10200411)
|
|---|
| Keywords | 英語 / 情動・感情 / 学習支援システム / 音声 / 映像 / 声合成・顔合成 / 韻律 / 学習者 |
|---|
| Research Abstract |
本研究では,音声映像合成モデルによる英語情動学習支援システム開発を目的として,英語情動・感情を日本人英語学習者がどのように認知するかを体系的に明らかにする。情動(感情)は母語話者にとっても認知は一律でなく、ましてや、日本文化と大きく異なる文化圏で使われる英語のような外国語を習得する場合には、その認知は容易ではない。英語音声教育において、日本人等が英語情動をどのように認知するかの研究はあまり行われていない。また、情動とイントネーションの関係もあまり明らかになっていない。情動はイントネーションにおけるフォーカスとも関連している。合成音声を作成する前に基礎研究として認知実験が大量に必要であることも分かった。
(1)先に集積したデータを用いて、フォーカスを持った情動とイントネーションの平均パターンモデルを表示した。パターンモデルには声の高さ(fO)情報のみ用いた。
(2)ロンドン大学にて演劇専攻の学生をインフォーマントとして録音録画を行い、英語情動18種のデータベースを作った。音声および顔のすべての録音録画を分割し、非母語話者を対象とした認知実験の前にインフォーマントであるの母語話者の認知実験をおこなった。また、非母語話者に中国語話者(大学性)を選定し、認知実験を行った。現在、統計処理をしている。
この処理の後、各情動と物理音響特性の比較検証を行う。
今後本システムに必要となるであろう画像処理と音声に関係して3D母音表示と連動する音声認識および3DCGを用いた構音運動も基礎研究として開始した。
|
