口腔内超音波画像を用いた無声発話生成と認識に関する研究

2021 Fiscal Year Annual Research Report

• Project/Area Number: 20J15015
• Research Institution: The University of Tokyo
• Principal Investigator: 木村 直紀 東京大学, 学際情報学府, 特別研究員(DC2)
• Project Period (FY): 2020-04-24 – 2022-03-31
• Keywords: サイレントスピーチインタフェース

Outline of Annual Research Achievements

本研究では，空気振動を伴わずに話し言葉によるコミュニケーションを可能にする無声発話技術に関する研究を行なった．無声発話とは，声帯を振動させずに声道の調音運動のみを行う発話方法のことである．この時の調音運動に伴う脳波や神経信号，筋電位，筋肉の動きを測定することで，意図した発話内容の生成・認識を行うものである．無声発話では空気振動を伴わないため，発話・聴音に困難（気管切開，声帯の切除，高齢）を抱える人々に新しいコミュニケーション手段を提供できる可能性がある．さらに会議や電車内など,静かさが必要な場所での話し言葉を用いた交流やコンピュータの活用を実現する．またコンサート会場や飛行機内など，周囲の騒音が大きくて音声の理解やコンピュータによる音声認識が困難な場所での代わりの手段として機能する．
前年度に引き続き，サイレントスペリングというインタラクションにエレクトロパラトグラフィー（Electropalatography，口蓋設置型下トラッキング静電容量アレイ）を組み合わせて研究を行なった．このセンサは口蓋に124個の電極を設置し，100Hzで舌の動きを捉える．このセンサと隠れマルコフモデルを使用した認識器を組み合わせることで，1164wordsの語彙において94%以上の精度での認識を実現した．本研究の成果は2022年4月に開催されたACM主催のConference on Human Factors in Computing Systems(CHI2022)においてフルペーパーとして発表された．

Research Progress Status

令和3年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和3年度が最終年度であるため、記入しない。

Research Products

• [Presentation] SilentSpeller: Towards Mobile, Hands-Free, Silent Speech Text Entry Using Electropalatography (2022)
  • Author(s): Kimura, Naoki and Gemicioglu, Tan and Womack, Jonathan and Li, Richard and Zhao, Yuhui and Bedri, Abdelkareem and Su, Zixiong and Olwal, Alex and Rekimoto, Jun and Starner, Thad
  • Organizer: CHI '22: Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems
  • Int'l Joint Research