• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2019 年度 実績報告書

深層学習による無音声発話インタラクションの研究

研究課題

研究課題/領域番号 19H04148
研究機関東京大学

研究代表者

暦本 純一  東京大学, 大学院情報学環・学際情報学府, 教授 (20463896)

研究期間 (年度) 2019-04-01 – 2022-03-31
キーワードヒューマンコンピュータインタラクション / ヒューマンAIインテグレーション / スピーチインタフェース / 深層学習 / サイレントボイス
研究実績の概要

音声認識はコンピュータと人間の主要なインタラクション手段として、スマートフォンやスマートスピーカーなど、広範囲で利用できるようになってきた。しかし、公共環境では他者の迷惑になったり、会話の秘匿性が担保できないので利用されていなかった。有声発話を介さずに、発話時の口腔内の動きのみで発話を認識することができれば、コンピュータとのインタラクション手段として、また整体損傷者の会話支援技術として大きな可能性がある。今年度は、超音波エコーイメージングを用い、口腔内の映像を超音波プローブにて取得し、その映像を深層学習により音声特徴量に変換する方法を試みた。これにより、限定された語彙ではあるが、利用者のサイレントボイスから実時間で音声を生成することに成功した。生成された音声により無改造の音声認識装置(スマートスピーカー)を制御できることも確認した。この成果は、ヒューマンコンピュータインタラクションの国際学会であるACM CHI2019にて発表し、優秀論文賞(honorable mentions award)を受賞した。さらにDCEXPO Innovative Techynologies 2019に選出された。本研究は、より基礎的には人間の能力と、深層学習を代表とする人工知能の能力が実時間で結合することを意味する。これは、従来の自律的なロボットと人間とのインタラクション(ヒューマンロボットインタラクション)とは異なる形態での人間と人工知能とのインタラクションの方向性を示すものである。これをHuman-Computer Integrationと呼ぶことを提案した。この構想を、ヒューマンコンピュータインタラクションのトップカンファレンスであるACM UIST 2019のビジョン論文として公表した。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

サイレントボイスインタラクションの研究は計画通り進展している。本年度は、トップカンファレンス(ACM CHI2019)での論文賞の受賞、国内の技術イベントであるDCEXPO Innovative Technologiesでの受賞があり、研究成果を評価して頂いたことが当初の計画以上の成果であった。また、超音波イメージング以外の手法についても着手しており、当初の計画以上の進展であると言える。

今後の研究の推進方策

今年度は、サイレントボイスの頑強性を高めるためのニューラルネットの構造改善、超音波イメージング以外の手法によるサイレントボイスの可能性について研究を進め、より実用性の高いインタラクションが可能となるようにする。

  • 研究成果

    (7件)

すべて 2019 その他

すべて 国際共同研究 (1件) 学会発表 (5件) (うち国際学会 4件、 招待講演 2件) 備考 (1件)

  • [国際共同研究] Georgia Institute of Technology/college of computing(米国)

    • 国名
      米国
    • 外国機関名
      Georgia Institute of Technology/college of computing
  • [学会発表] SottoVoce: 超音波画像と深層学習による無発声音声インタラクション2019

    • 著者名/発表者名
      暦本 純一,木村 直紀,河野 通就
    • 学会等名
      インタラクション2019
  • [学会発表] Homo Cyberneticus: The Era of Human-AI Integration2019

    • 著者名/発表者名
      Jun Rekimoto
    • 学会等名
      ACM UIST 2019
    • 国際学会
  • [学会発表] Human Augmentation and the future of Human-Computer Interactions2019

    • 著者名/発表者名
      Jun Rekimoto
    • 学会等名
      CHIuXID, 5th International ACM In-Cooperation HCI and UX Conference
    • 国際学会 / 招待講演
  • [学会発表] Human Augmentation(keynote)2019

    • 著者名/発表者名
      Jun Rekimoto
    • 学会等名
      ACM MobileHCI2019
    • 国際学会 / 招待講演
  • [学会発表] SottoVoce: An Ultrasound Imaging-Based Silent Speech Interaction Using Deep Neural Networks2019

    • 著者名/発表者名
      Naoki Kimura, Michinari Kono, Jun Rekimoto
    • 学会等名
      CHI '19: Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems
    • 国際学会
  • [備考] SottoVoce

    • URL

      https://lab.rekimoto.org/projects/sottovoce/

URL: 

公開日: 2021-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi