2001 年度実績報告書

非母国語話者のための韻律を包含する発音学習システムに関する研究

研究課題

研究課題/領域番号	12040101
研究機関	東北大学
研究代表者	牧野正三東北大学, 大学院・工学研究科, 教授 (00089806)
研究分担者	佐藤滋東北大学, 留学生センター, 教授 (40137592) 広瀬啓吉東京大学, 大学院・新領域創成化学研究科, 教授 (50111472) 白井克彦早稲田大学, 理工学部, 教授 (10063702) 三輪譲二岩手大学, 工学部, 助教授 (60125664) 才田いずみ東北大学, 大学院・文学研究科, 教授 (20186919)
キーワード	外国語教育 / 教育工学 / CALL / 音声工学 / インターネット / マルチモーダル
研究概要	最新の情報処理技術と、日本語や外国語の教育学を融合することによって、韻律的特徴も包含する発音教育システムを構築することを研究目的としている。本研究グループの成果は大きく3つに分かれる。(1)音声認職技術を用いた発音学習システムの構築(牧野、白井、広瀬、石塚):韻律を含む英語や日本語の発音学習システムでは、発音や韻律を評価する際には、学習者の発声した,音声のどの部分がどの音素に対応しているかを学習者に示し、その部分を学習者がどのように発声したか、また教師とどのように異なるかを示す必要がある。本研究では、話者適応機能と非母国語話者の発音誤り規則を持つ音素ラベリングシステムを構築した。この結果、発音誤りを含む非母国語話者の発声を音素ごとに自動的に区切ることができ,その結果を用いて発音、イントネーションとリズムの評価を行うことが可能になった。(2)音声情報処理技術、インタ-ネット技術とマルチメディア技術を用いた発音学習システムの構築(佐藤、才田、三輪、サンダース):音声情報処理技術を用いて、基本周波数やホルマント周波数を抽出し、それを非母国語話者に図で示すことによって教育効果を高めるシステムを日本語発音教育と中国語発音教育で開発した。また、ウエブ上で動画像表示システムを利用して、例えば「先生と生徒との対話」あるいは「友人との対話」のように社会的状況の違いによる日本語の使用法の違いを教えるシステムも開発した.(3)自由度の高い発音学習システムのための韻律句生成規則及びパラ言語情報の分析(吉本、前川):(1)と(2)での教材はあらかじめ録音されたものを用いているが、任意に入力した漢字かな混じり文章に対して韻律句情報やパラ言語情報を付与することができれば、任意の文章に対する発音学習システムを構築することができる。そのための韻律句生成規則の研究と、パラ言語情報の分析を行った。

研究成果
(25件)

すべてその他

すべて文献書誌 (25件)

[文献書誌] Ishii, C., Minematsu, N., Hirose, K.: "Investigation on perceived pitch and observed FO features to represent Japanese pitch accent patterns"Proc. International Conference of Speech Processing. 437-442 (2001)
[文献書誌] Ishii, C., Minematsu, N., Hirose, K., Nishide R.: "Identification of Accent and Intonation in sentences for CALL systems"Proc. Eurospeech 2001. 2455-2458 (2001)
[文献書誌] Ishii, C., Minematsu, N., Hirose, K.: "Recognition of accent and intonation types of Japanese using FO parameters related to human pitch perception"Proc. ISCA Tutorial and Research Workshop on Prosody in Speech Recognition and Understanding. 71-76 (2001)
[文献書誌] Ishii, C., Hirose, K., Minematsu, N.: "FO representation for a perceptually meaningful audio-visual feedback in the learning of accent and intonation"Proc. Integrating Speech Technology in the Language Learning and Assistive Interface. (印刷中). (2002)
[文献書誌] Ishii, C., Hirose, K., Minematsu, N.: "Using perceptually-related F0-and power-based parameters to identify accent types of accentual phrases"Proc. Speech Prosody 2002. (印刷中). (2002)
[文献書誌] H.Predinger, M.Ishizuka: "Carrying the Role-Playing Metaphor to Interactive Learning Environments"On-line Proc. Int'l Conf. on Intelligent User Interfaces. (2001)
[文献書誌] S.Descamps, M.Ishizuka: "Bringing Affective Behavior to Presentation Agents"Proc. 3rd Int'l Workshop on Multimedia Network Systems. 332-336 (2001)
[文献書誌] H.Predinger, M.Ishizuka: "Communicative Behavior of Socially Situated Agents"Workshop Proc. on Multimodal Communication and Context in Embodied Agents. 41-46 (2001)
[文献書誌] S.Descomps, H.Predinger, M.Ishizuka: "A Multimodal Presentation Mark-up Language for Enhanced Affective Presentation. Advances in Education Tecnologies"Proc. Int'l Conf. on Intelligent Multimedia and Distant Learning. 9-16 (2001)
[文献書誌] H.Predinger, S.Saeyor, M.Ishizuka: "Animated Agents for Language Conversation Training"CD-Rom Proc. World Conf. on Educational Multimedia. 1514-1515 (2001)
[文献書誌] H.Binda, S.Saeyor, H.Prendinger, M.Ishizuka: "A Scripting Language for Multi-Character Presentation Agent based on Multimodal Presentation Markup Language"Demo session in World Conference on Educational Multimedia. 25-30 (2001)
[文献書誌] S.Saeyor, H.Binda, M.Ishizuka: "Visual Authoring Tool for Presentation Agent Based on Multimodal Presentation Markup Language"Proc. Imformation Visualisation. 563-567 (2001)
[文献書誌] H.Prendinger, M.Ishizuka: "Affective and Social Behavior in Animated Agents (Invited Paper)"CD-Rom Proc. 9th IFSA World Congress and 20th NAFIPS Int'l Conf., Session on Kansei Systems. 2918-2923 (2001)
[文献書誌] H.Predinger, M.Ishizuka: "Agents That Talk Back (Sometimes) : Filter Programs for Affective Communication"Proc. 2nd Workshop on Attitude, Personality and Emotions in User-Adapted Interaction. 91-96 (2001)
[文献書誌] H.Prendinger, M.Ishizuka: "Appraisal and Filter Programs for Affective Communication"2001 AAAI Fall Symposium, Technical Report FS-01-02. 97-102 (2001)
[文献書誌] Sylvain Descamps, Istvan Brakonyi, Mitsuru Ishizuka: "Making the Web Emotional: Authoring Multimodal Presentations Using a Synthetic 3D Agent"Proc. OZCHI-2001. 25-30 (2001)
[文献書誌] 鈴木基之, 牧野正三: "離散型HMnetにおける最適な状態数の自動決定法"電子情報通信学会論文誌. J85-D-II, No.2. 193-199 (2002)
[文献書誌] 長沢忠郎, 鈴木基之, 牧野正三: "日本語と英語の音韻間距離の分析について"日本音響学会研究発表会講演論文集. I. 345-346 (2001)
[文献書誌] 長野雄, 鈴木基之, 牧野正三: "出力確率をbigramとするHMMによる言語モデルの検討"日本音響学会研究発表会講演論文集. I. 83-84 (2001)
[文献書誌] 権五杓, 鈴木基之, 牧野正三: "自動ラベリングシステムを用いた韓国人の日本語の発音の評価"日本音響学会研究発表会講演論文集. I. 407-408 (2001)
[文献書誌] 大河雄一, 鈴木基之, 牧野正三: "VFS話者適応における音素間距離尺度の検討"日本音響学会研究発表会講演論文集. I. 123-124 (2001)
[文献書誌] 吉田明弘, 鈴木基之, 牧野正三: "発話スタイルと発話速度変化が音素認識率へ与える影響の分析"日本音響学会研究発表会講演論文集. I. 13-14 (2002)
[文献書誌] 長沢忠郎, 鈴木基之, 牧野正三: "自動音韻ラベリングを用いた韻律評価システム"日本音響学会研究発表会講演論文集. I. 397-398 (2002)
[文献書誌] 大河雄一, 鈴木基之, 牧野正三: "話者適応のための話者性に独立な基準話者モデル学習法"日本音響学会研究発表会講演論文集. I. 127-128 (2002)
[文献書誌] 長野雄, 鈴木基之, 牧野正三: "HMMを用いた複数n-gramの確率的スイッチングモデル"日本音響学会研究発表会講演論文集. I. 161-162 (2002)

2001 年度 実績報告書

非母国語話者のための韻律を包含する発音学習システムに関する研究

研究代表者

牧野 正三 東北大学, 大学院・工学研究科, 教授 (00089806)

研究成果

[文献書誌] Ishii, C., Minematsu, N., Hirose, K.: "Investigation on perceived pitch and observed FO features to represent Japanese pitch accent patterns"Proc. International Conference of Speech Processing. 437-442 (2001)

[文献書誌] Ishii, C., Minematsu, N., Hirose, K., Nishide R.: "Identification of Accent and Intonation in sentences for CALL systems"Proc. Eurospeech 2001. 2455-2458 (2001)

[文献書誌] Ishii, C., Minematsu, N., Hirose, K.: "Recognition of accent and intonation types of Japanese using FO parameters related to human pitch perception"Proc. ISCA Tutorial and Research Workshop on Prosody in Speech Recognition and Understanding. 71-76 (2001)

[文献書誌] Ishii, C., Hirose, K., Minematsu, N.: "FO representation for a perceptually meaningful audio-visual feedback in the learning of accent and intonation"Proc. Integrating Speech Technology in the Language Learning and Assistive Interface. (印刷中). (2002)

[文献書誌] Ishii, C., Hirose, K., Minematsu, N.: "Using perceptually-related F0-and power-based parameters to identify accent types of accentual phrases"Proc. Speech Prosody 2002. (印刷中). (2002)

[文献書誌] H.Predinger, M.Ishizuka: "Carrying the Role-Playing Metaphor to Interactive Learning Environments"On-line Proc. Int'l Conf. on Intelligent User Interfaces. (2001)

[文献書誌] S.Descamps, M.Ishizuka: "Bringing Affective Behavior to Presentation Agents"Proc. 3rd Int'l Workshop on Multimedia Network Systems. 332-336 (2001)

[文献書誌] H.Predinger, M.Ishizuka: "Communicative Behavior of Socially Situated Agents"Workshop Proc. on Multimodal Communication and Context in Embodied Agents. 41-46 (2001)

[文献書誌] S.Descomps, H.Predinger, M.Ishizuka: "A Multimodal Presentation Mark-up Language for Enhanced Affective Presentation. Advances in Education Tecnologies"Proc. Int'l Conf. on Intelligent Multimedia and Distant Learning. 9-16 (2001)

[文献書誌] H.Predinger, S.Saeyor, M.Ishizuka: "Animated Agents for Language Conversation Training"CD-Rom Proc. World Conf. on Educational Multimedia. 1514-1515 (2001)

[文献書誌] H.Binda, S.Saeyor, H.Prendinger, M.Ishizuka: "A Scripting Language for Multi-Character Presentation Agent based on Multimodal Presentation Markup Language"Demo session in World Conference on Educational Multimedia. 25-30 (2001)

[文献書誌] S.Saeyor, H.Binda, M.Ishizuka: "Visual Authoring Tool for Presentation Agent Based on Multimodal Presentation Markup Language"Proc. Imformation Visualisation. 563-567 (2001)

[文献書誌] H.Prendinger, M.Ishizuka: "Affective and Social Behavior in Animated Agents (Invited Paper)"CD-Rom Proc. 9th IFSA World Congress and 20th NAFIPS Int'l Conf., Session on Kansei Systems. 2918-2923 (2001)

[文献書誌] H.Predinger, M.Ishizuka: "Agents That Talk Back (Sometimes) : Filter Programs for Affective Communication"Proc. 2nd Workshop on Attitude, Personality and Emotions in User-Adapted Interaction. 91-96 (2001)

[文献書誌] H.Prendinger, M.Ishizuka: "Appraisal and Filter Programs for Affective Communication"2001 AAAI Fall Symposium, Technical Report FS-01-02. 97-102 (2001)

[文献書誌] Sylvain Descamps, Istvan Brakonyi, Mitsuru Ishizuka: "Making the Web Emotional: Authoring Multimodal Presentations Using a Synthetic 3D Agent"Proc. OZCHI-2001. 25-30 (2001)

[文献書誌] 鈴木基之, 牧野正三: "離散型HMnetにおける最適な状態数の自動決定法"電子情報通信学会論文誌. J85-D-II, No.2. 193-199 (2002)

[文献書誌] 長沢忠郎, 鈴木基之, 牧野正三: "日本語と英語の音韻間距離の分析について"日本音響学会研究発表会講演論文集. I. 345-346 (2001)

[文献書誌] 長野 雄, 鈴木基之, 牧野正三: "出力確率をbigramとするHMMによる言語モデルの検討"日本音響学会研究発表会講演論文集. I. 83-84 (2001)

[文献書誌] 権五杓, 鈴木基之, 牧野正三: "自動ラベリングシステムを用いた韓国人の日本語の発音の評価"日本音響学会研究発表会講演論文集. I. 407-408 (2001)

[文献書誌] 大河雄一, 鈴木基之, 牧野正三: "VFS話者適応における音素間距離尺度の検討"日本音響学会研究発表会講演論文集. I. 123-124 (2001)

[文献書誌] 吉田明弘, 鈴木基之, 牧野正三: "発話スタイルと発話速度変化が音素認識率へ与える影響の分析"日本音響学会研究発表会講演論文集. I. 13-14 (2002)

[文献書誌] 長沢忠郎, 鈴木基之, 牧野正三: "自動音韻ラベリングを用いた韻律評価システム"日本音響学会研究発表会講演論文集. I. 397-398 (2002)

[文献書誌] 大河雄一, 鈴木基之, 牧野正三: "話者適応のための話者性に独立な基準話者モデル学習法"日本音響学会研究発表会講演論文集. I. 127-128 (2002)

[文献書誌] 長野 雄, 鈴木基之, 牧野正三: "HMMを用いた複数n-gramの確率的スイッチングモデル"日本音響学会研究発表会講演論文集. I. 161-162 (2002)

2001 年度実績報告書

牧野正三東北大学, 大学院・工学研究科, 教授 (00089806)

[文献書誌] 長野雄, 鈴木基之, 牧野正三: "出力確率をbigramとするHMMによる言語モデルの検討"日本音響学会研究発表会講演論文集. I. 83-84 (2001)

[文献書誌] 長野雄, 鈴木基之, 牧野正三: "HMMを用いた複数n-gramの確率的スイッチングモデル"日本音響学会研究発表会講演論文集. I. 161-162 (2002)