• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2021 年度 研究成果報告書

深層学習による無音声発話インタラクションの研究

研究課題

  • PDF
研究課題/領域番号 19H04148
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
審査区分 小区分61020:ヒューマンインタフェースおよびインタラクション関連
研究機関東京大学

研究代表者

暦本 純一  東京大学, 大学院情報学環・学際情報学府, 教授 (20463896)

研究期間 (年度) 2019-04-01 – 2022-03-31
キーワードサイレントスピーチ / 人間拡張 / 人工知能 / 音声処理 / 深層学習
研究成果の概要

音声インタフェースは急速に普及してきているが、公共環境や騒音環境で利用できないなどの制限があった。本課題では、深層学習による無音声発話認識の研究を行った。顎の下側に取り付けられた超音波イメージングプローブによって観察される口腔内映像から発声内容を認識する深層学習器、皮膚運動を顎や喉に添付した加速度センサーから発話を推定する機構、マスクに添付した加速度センサーにより発話を認識する機構を構築し、スマートスピーカーなど音声対話システムを駆動できることを確認した。さらに、視線情報と口唇映像からのコマンド認識を組み合わせるマルチモーダルインタフェースの構築に成功した。

自由記述の分野

人間拡張学

研究成果の学術的意義や社会的意義

本研究成果により、音声インタラクションが公共環境や騒音環境で利用できないなどの従来の制限を超えて利用できる可能性が出てきた。音声インタラクションは他の入力手段と比較しても高速で、手指を拘束しないなどの特徴を持つ。未来のモバイルインタフェースやウェアラブルインタフェースの手段としてサイレントスピーチが広範に利用される可能性がある。さらに、咽頭障害、声帯機能障害、高齢による発声困難者に対して、声によるコミュニケーションを取り戻すための支援技術としての利用意義がある。

URL: 

公開日: 2023-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi