• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Real-time MRI database of articulatory movements of Japanese

Research Project

Project/Area Number 20H01265
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 02060:Linguistics-related
Research InstitutionNational Institute for Japanese Language and Linguistics

Principal Investigator

前川 喜久雄  大学共同利用機関法人人間文化研究機構国立国語研究所, 大学共同利用機関等の部局等, 所長 (20173693)

Co-Investigator(Kenkyū-buntansha) 定藤 規弘  生理学研究所, 脳機能計測・支援センター, 教授(兼任) (00273003)
斎藤 純男  拓殖大学, 外国語学部, 教授 (10225740)
籠宮 隆之  大学共同利用機関法人人間文化研究機構国立国語研究所, 言語資源開発センター, プロジェクト非常勤研究員 (10528269)
竹本 浩典  千葉工業大学, 先進工学部, 教授 (40374102)
石本 祐一  ものつくり大学, 技能工芸学部, 准教授 (50409786)
吉永 司  豊橋技術科学大学, 工学(系)研究科(研究院), 助教 (50824190)
北村 達也  甲南大学, 知能情報学部, 教授 (60293594)
菊池 英明  早稲田大学, 人間科学学術院, 教授 (70308261)
桂田 浩一  東京理科大学, 理工学部情報科学科, 教授 (80324490)
小林 哲則  早稲田大学, 理工学術院, 教授 (30162001)
西川 賢哉  大学共同利用機関法人人間文化研究機構国立国語研究所, コーパス開発センター, プロジェクト非常勤研究員 (50780516)
Project Period (FY) 2020-04-01 – 2024-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2023: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2022: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2021: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2020: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
KeywordsリアルタイムMRI / データベース / 調音運動 / 日本語 / 音声学 / 調音音声学 / 音声合成 / モンゴル語
Outline of Research at the Start

本研究は医療用MRI装置でリアルタイム撮像された大量の日本語調音運動データをその検索環境とともに一般公開することによって、日本語調音音声学の未解明問題について広くオープンな議論を行うための研究インフラを提供しようとするものである。
リアルタイムMRI動画には声道の全体形状が高解像度で記録されている。わけても従来可視化がほぼ不可能であった軟口蓋から咽頭を経て喉頭に到る声道後部が鮮明に観察できる点は、音声研究史上画期的であり、音声学者・音声生成研究者の永年の夢を実現したデータである。外国人に対する日本語音声教育教材としても高い価値が認められる。

Outline of Annual Research Achievements

本研究の主要な目標であるリアルタイムMRI撮像技術による日本語の調音運動データベースは「リアルタイムMRI調音運動データベース」第1版としてウェブ上でのデータ検索を可能にした(https://rtmridb.ninjal.ac.jp/)。1年前に公開した試験公開版と比較すると話者数は10名から22名に増えて当初目標を達成するとともに、音声に重畳して収録されていたMRI装置の稼働ノイズをデジタル音声処理によってほぼ消去することに成功している。さらに上記ウェブサイトで検索対象としている動画データを国立情報学研究所の音声言語コンソーシアムから公開した。以上によって音声研究のインフラ整備に関する当初目的は達成済みとなった。ウェブ版はこれまでに1000名以上の異なりユーザーによって利用されており、そのうち1割程度がリピーターである。
データベースの公開作業以外には、近い将来におけるデータベースのバージョンアップを念頭において、①これまでに開発してきた音声器官輪郭抽出技術の効率化と、②MRI画像には映らないが音声研究上重要な門歯の形状を推定してMRI動画中に埋め込む手法に関する技術開発を行い、いずれも実用レベルの技術を開発することができた。またリアルタイムMRI動画からの音声合成技術についても研究を進めて、自然性の高い音声の合成に成功した。
そのほかにはモンゴル語母音調和に関する知覚実験を実施した。また音声合成研究のために音素バランス文である「ATR503文」のリアルタイムMRIデータ収録を開始した。これは合成音声の品質向上のために必要とされるものであるが同時に連続音声に生じる調音結合現象の音声学的分析のためにも利用する予定である。これまでに男女各2名のデータを収録し、データ公開に必要とされる知財関係の処理を終了した。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

研究計画申請時に主要な目標として記載した話者21名分のリアルタイムMRI調音運動データベースを1年先倒しで公開することができた。特殊なデータであるにもかかわらず、異なり人数で1000名以上の訪問者があり、そのうち1割程度がリピーターとしてデータを繰り返し利用している。日本以外に米国、中国、台湾、韓国、ドイツなどの国にユーザーが多い。またリアルタイムMRIデータから調音運動を計測するためのデータブラウジング環境もgithub上で公開している。
その他、当初計画に記載した音声器官輪郭の自動抽出技術も確立することができた。さらに当初計画では挑戦的な応用課題として記載していたリアルタイムMRIデータからの音声合成(MRI to Speech)に関しても自然性の高い音声の合成に成功した。
本研究の成果は国際学会での発表を経て、複数の国際的に著名な査読論文誌(Journal of Acoustical Society of America, Journal of International Phonetic Association)に採録されている。前者はマスコミで報道されて反響をよんだ、後者はWikipedia英語版の日本語音声のページの参考文献として記載されている。

Strategy for Future Research Activity

最終年度には歯列データを埋め込んだ動画を作成する予定であるが、これを最終年度中に公開するかどうかは検討中である。できればウェブ上では検索可能にしたい。
現在公開しているデータは単独モーラ、バイモーラ、孤立単語など、実験的性格の強い発話であるが、2022年度から収録を開始した「ATR503文」データは、より自然な連続発話のデータであり、音声合成のために従来より広い音韻環境をカバーしている。このデータも将来的な一般公開を念頭においてデータ整備を進めるが、本研究期間内の公開は想定していない。特に音響的な音素セグメンテーション情報と結合することによって、調音運動データと音響データの相互参照が可能なデータベースの実現をめざす。
音声合成に関しては、既にかなりの達成をみたMRI to Speechからさらに一歩進んだ目標としてText to MRIの実現を試みる。つまり音素列を与えると調音運動の動画が生成されるシステムの研究である。
音声学に関しては、現在公開済みのデータを活用して、日本語調音音声学の全面的な見直しを進める。これまでに、撥音、ワ行子音、「ヒ」と「シ」の子音の比較についての分析を公開しており、ラ行子音、ハ行子音、ダ行子音についての分析が進行中である。将来的にはこれらの成果を一冊の著作にまとめて公刊することを想定している。

Report

(3 results)
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • 2020 Annual Research Report
  • Research Products

    (28 results)

All 2023 2022 2021 2020 Other

All Int'l Joint Research (1 results) Journal Article (4 results) (of which Peer Reviewed: 3 results,  Open Access: 4 results) Presentation (18 results) (of which Invited: 3 results) Book (1 results) Remarks (4 results)

  • [Int'l Joint Research] 内蒙古大学(中国)

    • Related Report
      2022 Annual Research Report
  • [Journal Article] Variability in Production of Non-Sibilant Fricative [h] in /hi/2022

    • Author(s)
      Tsukasa Yoshinaga, Kikuo Maekawa, and Akiyoshi Iida
    • Journal Title

      Proceedings INTERSPEECH 2022

      Volume: 1 Pages: 620-624

    • DOI

      10.21437/interspeech.2022-303

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Aeroacoustic differences between the Japanese fricatives [s] and [h]2021

    • Author(s)
      Yoshinaga Tsukasa、Maekawa Kikuo、Iida Akiyoshi
    • Journal Title

      The Journal of the Acoustical Society of America

      Volume: 149 Issue: 4 Pages: 2426-2436

    • DOI

      10.1121/10.0003936

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Production of the utterance-final moraic nasal in Japanese: A real-time MRI study2021

    • Author(s)
      Kikuo Maekawa
    • Journal Title

      Journal of the International Phonetic Association

      Volume: 51 Issue: 1 Pages: 1-24

    • DOI

      10.1017/s0025100321000050

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Remarks on Japanese /w/2020

    • Author(s)
      Kikuo Maekawa
    • Journal Title

      ICUWPL

      Volume: 10 Pages: 45-52

    • DOI

      10.34577/00004625

    • NAID

      120006812170

    • ISSN
      24333883
    • URL

      https://icu.repo.nii.ac.jp/records/4799

    • Year and Date
      2020-03-06
    • Related Report
      2020 Annual Research Report
    • Open Access
  • [Presentation] 頭頸部の正中矢状面におけるrtMRI動画への歯列補填2023

    • Author(s)
      常盤 朔也,一岡 昴輝,大谷 幸聖,竹本 浩典,前川 喜久雄
    • Organizer
      日本音響学会第149回(2023年春季)研究発表会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 日本語標準語話者の正中面における子音/s/の声道形状の分析2023

    • Author(s)
      藤澤 流以,天野 沢海,竹本 浩典,前川 喜久雄
    • Organizer
      日本音響学会第149回(2023年春季)研究発表会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 調音音声学のこれから2022

    • Author(s)
      前川喜久雄
    • Organizer
      日本音声学会第36回全国大会特別講演
    • Related Report
      2022 Annual Research Report
    • Invited
  • [Presentation] 声道断面積関数の操作によるモンゴル語母音音韻特徴の検討2022

    • Author(s)
      加地 優太,竹本 浩典,斎藤 純男,玉栄,前川 喜久雄
    • Organizer
      日本音響学会第148回(2022年秋季)研究発表会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 日本語話者10名の正中面における/k/の声道形状の分析2022

    • Author(s)
      天野 沢海,藤澤 流以,竹本 浩典,北村 達也,能田 由紀子,前川 喜久雄
    • Organizer
      日本音響学会第148回(2022年秋季)研究発表会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 2段階モデルによるrtMRI動画からの輪郭抽出2022

    • Author(s)
      藤澤 流以,堀井 千陽,天野 沢海,竹本 浩典,北村 達也,能田 由紀子,前川 喜久雄
    • Organizer
      日本音響学会第148回(2022年秋季)研究発表会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 明示的な音声特徴量に基づくDNN音声合成2022

    • Author(s)
      後藤 仁,小澤 凜夏,竹本 浩典,平井 啓之,前川 喜久雄
    • Organizer
      日本音響学会第148回(2022年秋季)研究発表会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 磁気センサシステムによる調音運動計測のための口蓋・咬合面の計測法2022

    • Author(s)
      能田 由紀子,北村 達也,竹本 浩典,前川 喜久雄
    • Organizer
      日本音響学会第148回(2022年秋季)研究発表会
    • Related Report
      2022 Annual Research Report
  • [Presentation] モンゴル語の母音生成時の声道断面積関数の分析2022

    • Author(s)
      加地 優太,竹本 浩典,斎藤 純男,前川 喜久雄
    • Organizer
      日本音響学会(2022年春季)研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 日本語話者10名の正中面における母音声道形状の分析2022

    • Author(s)
      天野 沢海,竹本 浩典,北村 達也,能田 由紀子,前川 喜久雄
    • Organizer
      日本音響学会(2022年春季)研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 隣接子音が母音声道形状に及ぼす影響の分析2022

    • Author(s)
      天野 沢海,後藤 翼,竹本 浩典,北村 達也,能田 由紀子,前川 喜久雄
    • Organizer
      日本音響学会(2022年春季)研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 条件異音再考2022

    • Author(s)
      前川喜久雄
    • Organizer
      日本音響学会音声コミュニケーション研究会
    • Related Report
      2021 Annual Research Report
    • Invited
  • [Presentation] リアルタイムMRI動画データベースプロジェクトの概要と調音音声学への応用2021

    • Author(s)
      前川喜久雄
    • Organizer
      言語資源活用ワークショップ2021
    • Related Report
      2021 Annual Research Report
    • Invited
  • [Presentation] リアルタイムMRI調音動画データの閲覧および解析環境の開発2021

    • Author(s)
      浅井拓也・菊池英明・前川喜久雄
    • Organizer
      言語資源活用ワークショップ2021
    • Related Report
      2021 Annual Research Report
  • [Presentation] 日本語話者 20 名の rtMRI 動画における発話器官の輪郭抽出2021

    • Author(s)
      天野沢海,並木崇宏,宮川翔多,後藤翼,竹本浩典,北村達也,能田由紀子,前川喜久雄
    • Organizer
      日本音響学会2021年春季研究発表会
    • Related Report
      2020 Annual Research Report
  • [Presentation] EMA による調音運動観測のための咬合面と口蓋の計測法2021

    • Author(s)
      能田由紀子,北村達也,浅井拓也,竹本浩典,前川喜久雄
    • Organizer
      日本音響学会2021年春季研究発表会
    • Related Report
      2020 Annual Research Report
  • [Presentation] rtMRI 動画から抽出した発話器官の輪郭データに基づく平均声道の生成と分析2020

    • Author(s)
      後藤翼,天野沢海,竹本浩典,北村達也,能田由紀子,前川喜久雄
    • Organizer
      日本音響学会2020年秋季研究発表会
    • Related Report
      2020 Annual Research Report
  • [Presentation] リアルタイムMRI動画日本語調音運動データベースの設計2020

    • Author(s)
      前川喜久雄, 西川賢哉, 浅井拓也, 能田由紀子, 正木信夫, 島田育廣, 竹本浩典, 北村達也, 斎藤純男, 籠宮隆之, 石本祐一, 菊池英明, 藤本雅子, 八木豊
    • Organizer
      言語資源活用ワークショップ2020
    • Related Report
      2020 Annual Research Report
  • [Book] 東京外国語大学国際日本学研究報告X2020

    • Author(s)
      前川喜久雄
    • Total Pages
      81
    • Publisher
      東京外国語大学国際日本学研究院
    • Related Report
      2020 Annual Research Report
  • [Remarks] The real-time MRI articulatory movement database

    • URL

      https://rtmridb.ninjal.ac.jp/

    • Related Report
      2022 Annual Research Report
  • [Remarks] 31. リアルタイムMRI調音運動データベース 第1版 (rtMRIDB)

    • URL

      http://research.nii.ac.jp/src//rtMRIDB.html

    • Related Report
      2022 Annual Research Report
  • [Remarks] リアルタイムMRI動画を用いた調音音声学の再構築―ワ行子音の問題―

    • URL

      https://www.youtube.com/watch?v=YcIN8CoHmqk

    • Related Report
      2022 Annual Research Report
  • [Remarks] The real-time MRI articulatory movement database

    • URL

      https://rtmridb.ninjal.ac.jp

    • Related Report
      2020 Annual Research Report

URL: 

Published: 2020-04-28   Modified: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi