韻律コーパスとその作成自動化

2003 年度 実績報告書

• 研究課題/領域番号: 12132204
• 研究機関: 静岡大学
• 研究代表者: 北澤 茂良 静岡大学, 情報学部, 教授 (00109018)
• 研究分担者: 板橋 秀一 筑波大学, 電子・情報工学系, 教授 (70151454) ; 伊藤 敏彦 静岡大学, 情報学部, 助手 (20313926) ; 桐山 伸也 静岡大学, 情報学部, 助手 (20345804) ; NICK Campbell (株)国際電気通信基礎技術研究所人間情報科学研究所, 主幹研究員 ; 市川 熹 千葉大学, 自然科学研究科, 教授 (80241933)
• キーワード: 韻律コーパス / 基本周波数 / MULTEXT / ECG / FOモデルパラメータ / 音声コーパス / 顔表情 / 対話音声

研究概要

1.新規の韻律コーパスの作成(静岡大学)
韻律コーパスとして日本語のMULTEXT韻律データベースの40パッセジにJ-ToBI韻律タグ付けを完了し、同様の手法で、筑波大学と千葉大学と東京大孝と東工大グループの既存音声コーパスの各種案内読上げと模擬対話と対話音声、マルチモーダル対話音声、天気予報、模擬感情音声へのJ-ToBIタグ付けを行った。これらのラベリング作業について研究支援者を雇用して行った。言語情報を利用した韻律ラベリング手法の開発と、音素ラベリング支援のための音素自動セグメンテーションと、連接境界における音響的特徴の詳細について研究成果を発表した。
2.既存の音声コーパスの韻律分析と韻律コーパスの作成(筑波大学)
既存の音声コーパスとして、日本音響学会「研究用連続音声データベース」の各種案内読上げ文と模擬対話、重点領域研究「音声対話」の対話音声コーパス、の3種のコーパスに基本周波数分析と発話ラベルと付与した。200ms以上の無音区間で区切られた音声区間を発話単位として、発話単位長を読上げ音声と模擬対話音声で比較した。模擬対話では間投詞や割込みによって発話単位が短くなる。音声パワーと基本周波数の標準偏差は対話に比べて読上げは狭い範囲に集中していることが分かった。
3.ジェスチャー・顔表情付の対話音声収録(千葉大学)
音声対話における視線や頷きなどジェスチャーを記録・分析するため、二台のプロンプター(映像提示装置)を介したマルチモーダルな自然対話の収録を行い、音声・ジェスチャーの収録とタグ付け作業を行った。話し手と聞き手のジェスチャーの相互作用に関して、話者継続時における発話単位終了時での話し手の頷きによって聞き手が相槌や頷きを9割近く返していること、話し手が頷かない場合でも言語情報や音声の韻律情報によって聞き手は反応を3割程度返していることを明らかにした。

研究成果

• [文献書誌] Kitazawa Shigeyoshi: "Japanese MULTEXT : a Prosodic Corpus"LREC 2004. 発表予定. (2004)
• [文献書誌] Kitazawa Shigeyoshi: "Perceptual Inspection of V-V Juncture in Japanese"Speech Prosody 2004. 349-352 (2004)
• [文献書誌] Shigeyoshi Kitazawa: "An evaluation of J-ToBI on the Japanese MULTEXT prosodic corpus"Proceedings of Oriental COCOSDA 2003. 201-208 (2003)
• [文献書誌] Shinya Kiriyama: "Japanese Prosodic Labeling Support System Utilizing Linguistic Information"Proceedings of the 8th European Conference on Speech Communication and Technology. 181-184 (2003)
• [文献書誌] 細川雄太: "音素ラベリング支援のための音素自動セグメンテーション性能の分析"日本音響学会2003年秋季研究発表会講演論文集. 315-316 (2003)
• [文献書誌] 外山幸徳: "junctureにおける知覚境界に関する調査"日本音響学会2003年秋季研究発表会講演論文集. 325-326 (2003)
• [文献書誌] 三ッ田佳史: "日本語MULTEXTコーパスにおける言語情報を用いたBIラベリング自動化"日本音響学会2003年秋季研究発表会講演論文集. 363-364 (2003)
• [文献書誌] 桐山伸也: "言語情報を利用した韻律ラベリング手法の開発"電子情報通信学会技術研究報告(音声研究会). SP2003-100. 35-40 (2003)
• [文献書誌] Shehui Bu: "A Method of Automatic Extraction of Fo Model Parameters"Proc.SSPR 2003(Spontaneous Speech Processing and Recognition). 227-230 (2003)
• [文献書誌] S.Itahashi: "Speech Corpus for Speech Science and Technology"Proc.WESPAC8 (8th Western Pacific Acoustics Conference). 1-10 (2003)
• [文献書誌] 板橋秀一: "音声研究と音声コーパス"電子情報通信学会技術研究報告. SP2003-32. 37-41 (2003)
• [文献書誌] 小張敬之: "日本人の英語発音と英語母音話者音声の韻律特徴の比較"日本音響学会秋季研究発表会講演論文集. 255-256 (2003)
• [文献書誌] S.Itahashi: "Overview of the East-Asian Activities on Speech Corpora and Assessment"Proc.Oriental COCOSDA Workshop. 1-8 (2003)
• [文献書誌] 板橋秀一: "音声情報処理研究と音声データベース"日本音声言語医学会総会・学術講演会予稿集. 26 (2003)
• [文献書誌] 布社輝: "Foモデルパラメータ自動決定方法についての考察"Preprints SIG-SLP. 211-216 (2003)
• [文献書誌] S-H Bu: "Evaluation of a Method for Automatic Determination of Fo Model Parameters"Proc.International Conference : Speech Prosody 2004. 431-434 (2004)
• [文献書誌] 冨山良介: "Fo軌跡の折れ線近似による日本人および英語母語話者の英語発話の比較"日本音響学会春季研究発表会講演論文集. 313-314 (2004)
• [文献書誌] 山本佑: "読み上げ音声と対話音声の韻律分析と比較"日本音響学会春季研究発表会講演論文集. 233-234 (2004)
• [文献書誌] 畑野智栄: "東京方言におけるテクセントフレーズ境界の認知について"日本認知科学会第20会大会. 214-215 (2003)
• [文献書誌] 畑野智栄: "日本語音声言語における自然なまとまり感の認知について"日本心理学会第67回大会. 647 (2003)
• [文献書誌] 大須賀智子: "韻律の局所的特徴による文の構造の推定"情報処理学会研究報告. 2003-SLP-46. 1-6 (2003)
• [文献書誌] 大須賀智子: "韻律からの文構造推定における局所的特徴の分析"人工知能学会研究会資料. SIG-SLUD-A3 01-04. 1-6 (2003)
• [文献書誌] Toshie Hatano: "Human Segmentation of Speech by Prosody?"Proceedings of Joint International Conference on Cognitive Science(ICCS/ASCS-2003). 157-162 (2003)
• [文献書誌] Toshie Hatano: "How does Human segment the Speech by Prosody"Proceedings of 8th European Conference on Speech Communication and Technology. 400-403 (2003)
• [文献書誌] 大須賀智子: "韻律のみによる文構造推定手法の検討"日本音響学会 2003年秋季研究発表会全国大会音響学会講演論文集. 1-8-24. 229-230 (2003)
• [文献書誌] 畑野智栄: "アクセントフレーズを用いた音声セグメント境界の認知に関する予備的検討"日本音響学会秋期研究発表会. 1-7-12. 358-386 (2003)
• [文献書誌] 前田真季子: "自然対話における発話者のうなずきに対する聞き手の反応"人工知能学会研究会資料. SIG-SLUD-A3 02-07. 35-42 (2003)
• [文献書誌] Toshie Hatano: "The Cognitive Unit of Segmentation for Speech in Japanese"Proceedings of the 18th International Congress on Acoustics. (2004)