| 研究課題/領域番号 |
23K11965
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分90150:医療福祉工学関連
|
|---|
| 研究機関 | 東北工業大学 |
|---|
研究代表者 |
伊藤 仁 東北工業大学, 工学部, 教授 (00436164)
|
|---|
| 研究期間 (年度) |
2023-04-01 – 2026-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
3,770千円 (直接経費: 2,900千円、間接経費: 870千円)
2025年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2024年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2023年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
|
|---|
| キーワード | 音声合成 / 失声者 / ヒューマンインターフェース / デバイス開発 |
|---|
| 研究開始時の研究の概要 |
身体動作を用いて音韻、音高、音量などを即時的に制御するMotion-To-Speech型の音声合
成は、従来のText-To-Speech型の音声合成と比べて、即時性が高く失声者の代替発声装置としての応用が期待される。本研究では、手指の動作で形状を操作する入力デバイスを用いてMTSシステムを開発する。デバイスの形状は発話時の声道断面積関数に対応し、これを変形させることで多様な音韻を出力する。また使用者の操作習熟を促進するために、任意の音声入力に対してそれを再現する指の動きを触覚呈示する機能も実装する。システムの有効性は、失声者を含む被験者による性能評価実験により定量的に検証する。
|
| 研究実績の概要 |
身体動作を用いて音韻、音高、音量などを即時的に制御するMotion-To-Speech型の音声合成システムは、テキスト情報を入力とする従来のText-To-Speech型の音声合成と比べて、即時性が高く失声者の代替発声装置への応用が期待されている。本研究では、手指の動作で形状を操作する声道を模した入力デバイスを用いたMotion-To-Speechシステムについて検討する。このシステムでは、サーボモーターに接続されたレバー群を配列状に配置した入力デバイスを発声時の声道断面積関数とみなし、その形状を手指で変形させることで音声を即時的に合成する。
研究計画では、初年度に入力デバイスの開発と合成ソフトウェアの開発、次年度には音声に対応する指位置を呈示する逆変換ソフトウェアの開発、最終年度にこれらを統合したシステムの構成と性能評価を実施する予定である。この計画に沿って、2023年度は既存のサーボモーターを用いて入力デバイスを構成し、声道断面積から音声を即時的に合成するソフトウェアを開発した。また、これらを統合した音声合成システムは、手指で声道形状を変化させることで、日本語の連続母音を滑らかに合成することができることが確認できた。
一方で、入力デバイスのサイズを、片手で握ることができる程度まで小型化することは実現できず、次年度以降により小型のサーボモーターの選定か新規作製が必要であることが明らかになった。また音声合成ソフトウェアの機能に関しては、音源として有声音と無声音を切り替える仕組みや、口腔だけでなく鼻腔も含めた声道のモデル化が課題である。これらについては次年度以降の研究で取り組んでいきたい。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
現在までの進捗状況は、当初の計画からやや遅れていると言わざるを得ない。その主な原因は入力デバイスのハードウェアの開発が難航していることにある。本研究の提案時の構想では、直径1cm程度の超小型サーボモーターと直動ギアにより入力デバイスを実現するものであったが、(1)サイズが小さいモーターでは、指の動きを検出するためのトルク検出機能が不十分であり、(2)上下の指の動きをスムーズな回転運動に変換するためのギアには高い精度が要求されるために、本年度はデバイスの小型化は断念して、原理検証のための試作機を製作するだけとなった。
本研究で目指しているシステムを実現するためには、(1)に記載したモーターの回転角やトルクを高い精度で検出できる超小型のサーボモーターが必須であり、次年度はこの要件に合致するサーボモーターを見つけるために、2023年度よりも幅広い分野のモーターをテストする予定である。また、当初の構想とは異なるが、直動型のサーボモーターを用いたシステム構成についても検討していきたい。
また(2)の高精度ギアについては、研究計画では3次元プリンタを用いた製作を考えていたが、2023年度の研究によりABSやプラスチックでは部品の精度と耐久性に問題があることが明確になったため、次年度は金属部品を用いたデバイス開発を進める予定である。
なお上述した進捗の遅れは、いまのところ入力デバイスの部分だけであり、ソフトウェアの開発は概ね計画通りに進んでいる。従って、次年度の研究において、入力デバイスの改良に注力することで、この遅れを取り戻せると考えている。
|
| 今後の研究の推進方策 |
研究計画では、次年度は入力デバイスの改良と、音声に対応する指位置を呈示するソフトウェアの開発を行う。前者については、進捗状況で述べたように、新しいサーボモーターの選定とテスト、直動モーターの検討、金属ギアの開発を実施する予定である。
また後者については、使用者が合成システムの操作を効率的に学習するために必須の機能である。一般に、Motion to speech型の音声合成システムでは、合成に必要な多数のパラメータを即時的に制御する必要があり、使用者がその操作に習熟するためには多くの訓練が必要である。そこで本研究では、ある音声を出力するために必要な声道の形を、サーボモーターを用いて直接呈示することで、操作の習熟を支援する機能が実現できると考えている。
2023年度の研究では、動作から音声への変換を行う通常の音声合成機能だけでなく、この音声から動作への逆変換機能の一部を実装している。これはPCに入力したテキスト文字を発声する際の声道形状の変化を、サーボモーターを用いて呈示するものである。この機能は音韻が母音だけであること、通信の問題で動作のリアルタイム性が低いなど、まだ多数の制限があるが、2024年度の研究でこの点を改善していく予定である。
また2023年度に開発した音声合成ソフトウェアについても、有声音と無声音の切り替えや鼻腔の導入などの機能を追加して、より多くの音韻が出力可能となるよう開発を進める。
|
