2020 Fiscal Year Research-status Report
Multi-Modal Speech Enhancement Using Mobile Device
| Project/Area Number |
19K12905
|
|---|
| Research Institution | Osaka Institute of Technology |
|---|
Principal Investigator |
松井 謙二 大阪工業大学, ロボティクス&デザイン工学部, 教授 (30613682)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中藤 良久 九州工業大学, 大学院工学研究院, 教授 (10599955)
加藤 弓子 聖マリアンナ医科大学, 医学部, 研究員 (10600463)
水町 光徳 九州工業大学, 大学院工学研究院, 准教授 (90380740)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 発声支援 / 人工喉頭 / 口唇画像認識 / モバイル端末 |
|---|
| Outline of Annual Research Achievements |
インターフェイスなどを特徴とする読唇方式による発声支援アルゴリズム開発を行い、第三候補まで含めると20単語中19単語(95％)を認識することができた．この実験は話者1名、汎用パソコンを用いた実験であった。今年度は、複数の話者による認識精度のバラツキ評価を行い、安定した認識を実現するための発話指導方法検討を行った。また、認識語彙数の増加について検討した。さらに、本方式のスマートフォン用アプリケーション開発を行い、インターフェースの評価改善を行った。複数話者による認識実験については、7名の健常者による認識実験を行い、認識精度が大きくばらつくことを確認した後、「母音の口形差に注意すること」および「発話テンポを50BPMのメトロノームに従った発話をすること」を注意して行い、ほぼ同等の認識精度（第６候補までで60%）が確認できた。単語数の増加については昨年度の語彙数26から40に増加させて実験を行った結果、認識性能の劣化はあまり大きくなかった。次に、実際に口唇認識を行った場合の使用感調査を行うため，Android StudioでKotlinを用いてPaythonベースでの開発を行い、カメラはスマートフォン内臓のものを用いた。画面に第6候補までを表示し、タッチして選択できるようにした。認識精度はPCとほぼ同等で遅延は100msec程度にすることができた。人工喉頭との使用感比較実験では全体的に人口喉頭より良好な結果が得られた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究は低コスト，周囲の視線が気にならない外観，カメラ，ディスプレイ連携による使いやすいユーザインターフェイスなどを特徴とする読唇方式による発声支援装置の開発である．本年度は，昨年度の課題であった１）複数の話者による認識実験および話者による性能バラツキの対応、２）認識語彙数の増加、３）スマートフォン用アプリケーションの開発とユーザーインタフェースデザイン、これらの課題に取り組み、１）口形差の明確化と発話テンポの安定化による認識精度安定化、２）26単語から40単語に認識語彙を拡大し実験を行った結果、少ない劣化で認識可能なことを確認、３）スマートフォンアプリケーションの開発、および候補単語選択方式によるユーザーインタフェース実装、以上の開発及び実験により、最終年度の実機による評価実験に繋げることがほぼ出来るようになった。
また、日本音響学会2020秋季発表会、IICAIET2020国際会議での発表、DCAI2020国際会議での発表を行った。
|
| Strategy for Future Research Activity |
次年度は、１）複数のユーザーによるスマートフォンでの認識実験、使用感評価の実施。２）トータルシステムとしての使用感向上のためのインタフェースデザインの改善、評価を実施する。
|
| Causes of Carryover |
2020年9月の音響学会、IICAIET2020国際会議、および2020年10月のDCAI2020国際会議がオンライン開催となったため、2021年度の国際会議に向けて参加費用、旅費などの繰り越しを行った。また、スマートフォンによる評価実験用プロトタイプ開発のための購入を次年度に行う。
|
