The development and trial of software to self-study Japanese prosody using an automatic speech recognition system

• Project/Area Number: 24320091
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Partial Multi-year Fund
• Section: 一般
• Research Field: Japanese language education
• Research Institution: University of Tsukuba
• Principal Investigator: MATSUZAKI Hiroshi 筑波大学, 人文社会系, 准教授 (10250648)
• Co-Investigator(Kenkyū-buntansha): TAKAHASHI Eriko 広島大学, 大学院教育学研究科, 助教 (30710868) ; HATASA Yukiko 広島大学, 大学院教育学研究科, 教授 (40457271) ; IMAI Shingo 筑波大学, 人文社会系, 教授 (50346582) ; FURUKAWA Masako 筑波大学, 留学生センター, 研究員 (20617287)
• Project Period (FY): 2012-04-01 – 2015-03-31
• Project Status: Completed (Fiscal Year 2014)
• Budget Amount: ¥18,200,000 (Direct Cost: ¥14,000,000、Indirect Cost: ¥4,200,000); Fiscal Year 2014: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000); Fiscal Year 2013: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000); Fiscal Year 2012: ¥7,280,000 (Direct Cost: ¥5,600,000、Indirect Cost: ¥1,680,000)
• Keywords: 外国語 / 教育学 / 教育工学 / 発音学習 / 音声合成 / 音声学 / 音声認識

Outline of Final Research Achievements

This project aims at developing a new system that outputs a visual representation of prosody. It employs an automatic speech-recognition system and analyzes the segmental and prosodic features of a speech to provide an easy-to-understand visual feedback to Japanese learners. The problem of delayed F0 fall is corrected by assigning the F0 value to the mora that immediately precedes the segment in which the pitch drops. However, the inaccuracy in representing sentence-final intonation remains unsolved.

Research Products

• [Journal Article] おそ下がりに対応したプロソディグラフ自動出力システムの開発 (2015)
  • Author(s): 松崎寛，高橋恵利子
  • Journal Title: 日本語教育方法研究会誌 Volume: 22-1 Pages: 48-49
  • NAID: 110009919161
  • Acknowledgement Compliant
• [Journal Article] 音声認識技術を活用した日本語韻律学習システムの開発と改良 (2013)
  • Author(s): 松崎寛，今井新悟，古川雅子
  • Journal Title: 信学技報 Volume: SP2013-81 Pages: 59-63
• [Presentation] 日本語学習者のための音声認識技術を用いた発話練習教材の開発 (2013)
  • Author(s): 古川雅子, Son Pham Thanh, 今井新悟
  • Organizer: 教育システム情報学会
  • Place of Presentation: 東北大学
  • Year and Date: 2013-01-12
• [Presentation] 音声認識システムを活用した発音自学システムの開発と試用 (2012)
  • Author(s): 松崎寛
  • Organizer: 2012年日本語教育国際研究大会(ICJLE2012)
  • Place of Presentation: 名古屋大学
  • Year and Date: 2012-08-18
• [Book] 日本語大辞典（分担執筆：イントネーション／音調／強調／促音／長音／拍(モーラ)／プロミネンス／ポーズ他） (2014)
  • Author(s): 松崎寛
  • Total Pages: 2299
  • Publisher: 朝倉書店
• [Book] 第二言語習得研究と言語教育 (2012)
  • Author(s): 畑佐一味, 畑佐由紀子, 百済正和 ,清水崇文
  • Total Pages: 309
  • Publisher: くろしお出版