| 研究課題/領域番号 |
16K00242
|
|---|
| 研究機関 | 九州大学 |
|---|
研究代表者 |
鏑木 時彦 九州大学, 芸術工学研究院, 教授 (30325568)
|
|---|
| 研究期間 (年度) |
2016-04-01 – 2019-03-31
|
| キーワード | 音声発話 / 調音運動 / 磁気センサ / MRI / 音声合成 |
|---|
| 研究実績の概要 |
本課題では、音声発話時の調音器官の運動を高精度に磁気計測するシステムを構築し、人の音声情報処理の理解につなげることを目標としている。さらに、発話運動に関する音声データベースを構築することも目標のひとつである。平成２９年度は、従来にない大規模な音声データベース構築を行うため、数多くの測定実験を繰り返し、最終的に、男性話者１名についておよそ３０分におよぶ発話運動と音声の同時収録を行うことができた。このデータベースにおける発話内容は、５０３個の短文章である。磁気センサでは、測定の途中でマーカーコイルが調音器官から離脱する、あるいはマーカー位置の推定結果が異常をきたすなど、長時間の収録において種々の問題が発生する可能性がある。これらの問題の影響を回避するため、発話リストや被験者への発話内容の提示方法の改良、実験途中での位置推定結果のモニターなど、実験系全体の見直しを繰り返し、上記のデータベース構築を行うことができた。他の男性被験者についても、やや小規模ではあるが、測定実験を実施した。平成２９年度は、さらに、得られた音声データベースを用いて、調音運動と音声の間のマッピングに関する検討を行った。特にここでは、調音運動から声道の音響特性を推定するだけでなく、発声のピッチや有声と無声の判定など、音源に関する推定も行い、それらを組み合わせることで、音声の合成を可能とした。日本語を対象とする調音運動からの音声合成は、本研究が唯一のものである。この研究成果を基として、平成３０年度に開催される国際会議Interspeech2018への論文投稿を行った。また、MRI（磁気共鳴画像）による声道形状の測定も平行して行った。平成２９年度は男性２名を被験者とした測定実験を行い、声道形状の特徴や個人差に関する分析結果を得ることができた。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
磁気センサを用いた調音運動の測定をおこない、当初より目標としていた大規模な音声データベース構築に取り組み、男性１名分のデータ取得を行うことができた。しかしながら、調音運動からの音声合成においては、さらに長時間の音声データが必要であることがわかり、継続して測定実験を行う必要性が生じている。また、より高精度な測定を行うため、送信コイルの個数を６個から８個に増設したシステム構築を進めているが、まだ現状として測定可能なレベルには到達していない。現在までの進捗状況としては、大規模音声データベース構築の目処がついた段階と考えるのが妥当であり、判定としては（２）が妥当と言える。
|
| 今後の研究の推進方策 |
今後は、まず第一に、送信コイルの個数を８個に増設したシステム構築を行うとともに、測定精度の改善効果を定量的に検証する必要がある。８個の送信コイルの最適な配置方法については、磁界の計算機シミュレーションを通してすでに検討済みである。送信コイル、アンプなどの電子機器類も購入済みであり、現在は送信コイルを設置する筐体の設計、製作に取り掛かっている。この新しい計測システムについては、今年度前半での完成を目指している。その後、再び被験者を用いた測定実験とデータベース作成に取り組む予定である。データベース作成の目標は、まず、男性話者１名について、現在の２倍、すなわち収録時間１時間のデータを得ることである。なおかつ、調音運動データとしては誤差の少ない高品質なデータ取得を目指す。この長時間データを用いて調音運動からの音声合成を行い、現在の３０分間のデータから学習した場合との比較を行って、合成音の品質改善への効果を検証する。複数話者についての調音運動の測定実験も実施する。声道形状のMRI測定に関しては、平成３０年度は女性を被験者とした実験を行い、女性の声道の特徴とも言える喉頭位置の差異などを検証可能なデータ取得を行う。
|
