| Project/Area Number |
23K02572
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 09060:Special needs education-related
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
若宮 幸平 九州大学, 芸術工学研究院, 助教 (70294999)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2025: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2024: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
|
|---|
| Keywords | 発話訓練 / 調音運動 / 調音観測 / 聴覚障害 / 音声フィードバック |
|---|
| Outline of Research at the Start |
聴覚に重度の障害を被ると, 発話のための調音に必要な情報を与える音声フィードバックがが得られなくなり, 発話にも障害をきたすようになる. そのような聴覚障害に起因する発話障害を生ずる者に対し, 適切な聴覚補償や聴覚代行による音声フィードバックを与えることで, その程度を軽減しようという試みがなされてきた. 本研究では, 唇や口腔内の舌の位置等の調音位置情報についても直接的に提示できるシステムを構築し, それらのシステムから得られる情報と従来の聴覚補償や聴覚代行システムを通して得られる音声フィードバックとを組み合わせることで, 聴覚障害に起因する発話障害の改善に役立てる可能性について調査を行う.
|
| Outline of Annual Research Achievements |
健常者4名（男性1名, 女性3名）を対象に, 音声と発話器官の動きを同時に記録する観測実験が行われた. これは, 音声から発話器官の動きを推定し, その逆も可能な変換システムを構築するための基礎データを集める目的で行われた.
観測には, 当研究室で開発した3次元磁気センサシステム(3D-EMA)が使用された. このシステムは8つの送信コイルを持ち, 観測対象の器官に受信コイル(マーカ)を取り付ける. 送信コイルにより発生させた交流磁場により, マーカの位置に応じた受信信号が得られ, それを用いてマーカの位置を推定する.
このシステムのマーカは, 顎, 上下唇, 舌の上部(計6点)と, 頭部の位置の変動を補正するための鼻頭, 鼻尖, 上門歯に取り付けられた. そして, 各マーカからの受信信号と音声が同時に記録された. さらに, 声帯の振動情報も電気喉頭計(EGG)を用いて同時に観測された.
発話文としては, 音素の出現回数がバランス良くなるように設計されたATR503文が使用された.
各マーカから得られた受信信号を用いて, それぞれのマーカの位置が推定された. この際, 今年度導入したPCが使用された. 頭部の位置変動を補正した6点の発話器官の運動データと声帯振動データが, 発話音声と同期させて取得された. その後, 音声とATR503文の書き下し文から, ソフトウェア「julius」を使用して各音素の発話タイミング情報が取得された.
いくつかの音素の発話タイミングで, 各音素の発話の特徴が各発話者によって再現されているかが確認された. 例えば, 前舌母音では舌が前に, 後舌母音では舌が後方に移動していることが観測された. これらの結果から, 得られたデータはおおむね問題ないと確認できた. これらの情報は, 音声と発話器官の動きの相互変換システムの構築に役立つと考えられる.
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
当初, 3D-EMAで用いているD/A変換器が不調となり, 新たにD/A変換器を導入し, その調整が必要となったため, 本研究へのとりかかりがおくれてしまった.
|
| Strategy for Future Research Activity |
今後は, 今年度行ってきた発話運動と音声の同時収録に基づく調音-音声データベースの拡充に加え, 発話器官の運動を音声に, 音声を発話器官の運動に変換し, それを表示できるシステムをDNNとこれまでに構築してきた調音-音声データベースをもとに作成する. その上で, F0変動パターンの表示システム, スペクトログラムの表示システムを組み合わせ, 発話者の音声から, 音声のF0変動パターン, スペクトログラムの表示を行うとともに, 発話器官の運動状況を推測したものを表示するとともに, 正解の発話器官の運動パターンを標本話者から推測し, それらを表示する発話訓練システムを構築する. さらに, 聴覚障害者に本発話訓練システムを用いて発話訓練を行ってもらい, その成果を評価することで, 発話器官の運動情報を用いた発話訓練システムが聴覚障害者の発話運動の訓練に役立つことを示す予定である.
|
