韻律コーパスとその作成自動化

2002 年度 実績報告書

• 研究課題/領域番号: 12132204
• 研究機関: 静岡大学
• 研究代表者: 北澤 茂良 静岡大学, 情報学部, 教授 (00109018)
• 研究分担者: 板橋 秀一 筑波大学, 電子・情報工学系, 教授 (70151454) ; 伊藤 敏彦 静岡大学, 情報学部, 助手 (20313926) ; 桐山 伸也 静岡大学, 情報学部, 助手 (20345804) ; NICK Campbell (株)国際電気通信基礎技術研究所, 人間情報科学研究所, 主幹研究員 ; 市川 熹 千葉大学, 自然科学研究科, 教授 (80241933)
• キーワード: 韻律コーパス / 基本周波数 / MULTEXT / EGG / 音声コーパス / ジェスチャー / 顔表情 / 対話音声

研究概要

新規の韻律コーパスの作成(静岡大学)
静岡大学では韻律コーパスとして日本語のMULTEXT韻律データベースの40パッセジに、14年度はJ-ToBI韻律タグ付けを完了した。J-ToBIタグの多くは書起しテキストから生成可能であった。しかし、『韻律句』の結合度の指標BI=2,3の判断、強調されたアクセント句の判定、FOのピーク値と基準値については熟練者による聴取判断が不可欠であることがわかった。これらのラベリング作業について研究支援者を雇用して行った。対話音声の語順・文脈の相違が強調の判断に与える影響についてと、連接境界における音響的特徴の詳細について国際会議ICSLP2002にて発表した。
既存の音声コーパスにラベリング(筑波大学)
文献検索をタスクとした音声対話データの基本周波数分析を行い、韻律分析および基本周波数パターンの記述モデルを検討した。このモデルの有効性を確認するために日本音響学会音声データベースの「ASJ案内タスクコーパス」と「模擬対話コーパス」の韻律分析を大量に行い、FOの開始値、最終値、最大値、最小値、最大値・最小値・終了値の位置の7パラメーメタから発話単位のクラスタリングを行ったところ、読上げと模擬対話の違いが明らかになった。
ジェスチャー・顔表情付の対話音声収録(千葉大学)
音声対話におけるジェスチャーを記録・分析するためには、正面からの映像が不可欠である。本年度は二台のプロンプター(ハーフミラーを用いて、話者の正面にテレビ画像を表示しながら、同時に正面からの顔画像が録画できる)を用いてマルチモーダルな自然対話の音声対話収録を行い、音声・ジェスチャーの収録、タグ付け作業を行った。視線と話者交替の関係は、発話終了時・話者交替時に相手を見る傾向がある。話者交替時にうなずく頻度は高い。「視線をそらす」ジェスチャーが話者継続の意思表示に用いられている可能性が示唆された。

研究成果

• [文献書誌] Shigeyoshi Kitazawa: "Juncture Segmentation of Japanese Prosodic Unit Based on the Spectrographic Features"Proceedings of 7^<th> International Conference on Spoken Language Processing, Denver, USA. 1201-1204 (2002)
• [文献書誌] Tatusya Kitamura: "Influence of Prosody, Context, and Word Order in the Identification of Focus in Japanese Dialogue"Proceedings of 7^<th> International Conference on Spoken Language Processing, Denver, USA. 1185-1188 (2002)
• [文献書誌] Tomoko Osuga: "Estimating Syntactic Structure from Prosody in Japanese Speech"IEICE Transaction D. Vol.8, No.3. 558-564 (2003)
• [文献書誌] Yasuo Horiuchi: "Estimating Syntactic Structure from F0 Contour and Pause Duration in Japanese Speech"Proceedings of 7^<th> International Conference on Spoken Language Processing, Denver, USA. 1177-1180 (2002)
• [文献書誌] Shuichi Itahashi: "Design and Creation of Multilingual Speech Corpus"Proc.SNLP-Oriental COCOSDA 2002, Hua Hin, Thailand. 49-53 (2002)
• [文献書誌] Hisao Kuwabara: "The Present Status of Speech Databases in Japan : Development, Management and Application to Speech Research"Proc. LREC 2002 (International Conference on Language Resources and Evaluation ) Las Palmas de Gran Canaria, Spain. 10-15 (2002)