2020 Fiscal Year Annual Research Report
Real-time MRI database of articulatory movements of Japanese
| Project/Area Number |
20H01265
|
|---|
| Research Institution | National Institute for Japanese Language and Linguistics |
|---|
Principal Investigator |
前川 喜久雄 大学共同利用機関法人人間文化研究機構国立国語研究所, 音声言語研究領域, 教授 (20173693)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
定藤 規弘 生理学研究所, システム脳科学研究領域, 教授 (00273003)
斎藤 純男 拓殖大学, 外国語学部, 教授 (10225740)
籠宮 隆之 大学共同利用機関法人人間文化研究機構国立国語研究所, 言語変異研究領域, 特任助教 (10528269)
小林 哲則 早稲田大学, 理工学術院, 教授 (30162001)
竹本 浩典 千葉工業大学, 先進工学部, 教授 (40374102)
石本 祐一 大学共同利用機関法人人間文化研究機構国立国語研究所, コーパス開発センター, プロジェクト非常勤研究員 (50409786)
西川 賢哉 大学共同利用機関法人人間文化研究機構国立国語研究所, コーパス開発センター, プロジェクト非常勤研究員 (50780516) [Withdrawn]
北村 達也 甲南大学, 知能情報学部, 教授 (60293594)
菊池 英明 早稲田大学, 人間科学学術院, 教授 (70308261)
桂田 浩一 東京理科大学, 理工学部情報科学科, 准教授 (80324490)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | リアルタイムMRI / 調音音声学 / 調音運動 / データベース / 日本語 / モンゴル語 |
|---|
| Outline of Annual Research Achievements |
研究計画に沿ってリアルタイムMRI動画の収録を開始した。2020年7月22日, 8月21日, 9月11日, 10月1日, 11月20日, 12月28日, 2021年1月8日に話者各1名の収録を実施したが、COVID-19による外出規制の影響、およびATR-Promotionsにおける発話実験に関する規制によって、当初計画よりも低いペースでの収録となった。収録３回分に要する旅費を翌年度に繰り越すこととし、計画通りに実施した。
収録したMRI画像データ（DCM形式）と音声(WAV形式）からMP4動画を構成し、MP4動画に対して発話の開始・終了時刻を付与すると同時に、調音上の問題に関するタグを付与する発話切り出し作業を実施した。2021年3月の時点でこの作業が終了した話者10名分のデータを簡単な検索系とともにウェブ上で試験公開した（URLはhttps://rtmridb.ninjal.ac.jp ただしこのURLは2022年4月1日以降は本公開版Version 1のために利用している）。
以上のデータ収集・公開作業と並行して、機械学習によって、MRI画像から調音器官の輪郭を自動抽出する研究を実施した。輪郭は、上唇・下唇と下顎・舌・硬口蓋と軟口蓋・咽頭壁の５部位に分けて実施した。特定個人については高い精度での抽出が可能であることを確認した後、少人数の学習データから多数の話者のデータを精度よく処理する手法についても検討をおこなった。
さらに、MRI動画からの音声合成の可能性、以前に収録したモンゴル語のデータを用いた母音調和の研究、MP4動画のブラウジング・アノテーション環境の開発なども実施した。
国内の学会で研究発表を行ったほか、日本語撥音の調音運動に関する論文と日本語無声摩擦音の生成メカニズムに関する論文をいずれも国際学術誌に投稿した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
COVID-19によるデータ収録の遅れはあったが、2021年度までに当初目的を達成できている。データの試験公開も実施しており、ユーザーからフィードバックを得ることもできている。公開後１年間のユーザーは約800名で、そのうち40名ほどがリピーターである。
データの利便性を高めるために必要な調音器官輪郭の自動抽出技術にも進展があり、実用に供する目途がたった。
技術的なチャレンジとして位置づけていたMRIデータからの音声合成にも一定の成果を得ることができた。
MP4データのブラウジング・アノテーション環境はVer.2へアップデートし、利便性を大きく向上させた。この環境も一般公開している。
言語学的・音声学的な研究成果を２本の論文として国際誌に投稿できている。
|
| Strategy for Future Research Activity |
来年度もデータ収録を継続するが、依然としてCOVID-19の影響が危惧されるので、収録よりのデータ公開にエフォートを割くこととする。１年後（2022年春）に、アノテーションを済ませたデータの大部分を正式公開することを来年度の主要な目標として設定する。
研究期間の後半では、リアルタイムMRIデータを活用した種々の科学研究の促進にも注力したい。具体的には、日本語の条件異音に関する言語学的記述の妥当性の再検討、モンゴル語母音調和における舌根位理論の妥当性の検討、調音器官輪郭自動アノテーション技術の洗練、MRI画像からの音声合成の可能性の検討などである。音声合成のためには、音素バランス文のMRIデータが必要になるので、その収録も検討課題とする。
|
| Remarks |
現在閲覧できるのは2022年3月31日に公開した本公開版Version 1。2021年4月1日に公開した試験公開版を本公開版で置換した。
|
Research Products
(7 results)
-
-
-
-
-
[Presentation] リアルタイムMRI動画日本語調音運動データベースの設計2020
Author(s)
前川喜久雄, 西川賢哉, 浅井拓也, 能田由紀子, 正木信夫, 島田育廣, 竹本浩典, 北村達也, 斎藤純男, 籠宮隆之, 石本祐一, 菊池英明, 藤本雅子, 八木豊
Organizer
言語資源活用ワークショップ2020
-
-
