2019 Fiscal Year Annual Research Report
Research on Silent interaction with deep neural networks
| Project/Area Number |
19H04148
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
暦本 純一 東京大学, 大学院情報学環・学際情報学府, 教授 (20463896)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | ヒューマンコンピュータインタラクション / ヒューマンAIインテグレーション / スピーチインタフェース / 深層学習 / サイレントボイス |
|---|
| Outline of Annual Research Achievements |
音声認識はコンピュータと人間の主要なインタラクション手段として、スマートフォンやスマートスピーカーなど、広範囲で利用できるようになってきた。しかし、公共環境では他者の迷惑になったり、会話の秘匿性が担保できないので利用されていなかった。有声発話を介さずに、発話時の口腔内の動きのみで発話を認識することができれば、コンピュータとのインタラクション手段として、また整体損傷者の会話支援技術として大きな可能性がある。今年度は、超音波エコーイメージングを用い、口腔内の映像を超音波プローブにて取得し、その映像を深層学習により音声特徴量に変換する方法を試みた。これにより、限定された語彙ではあるが、利用者のサイレントボイスから実時間で音声を生成することに成功した。生成された音声により無改造の音声認識装置（スマートスピーカー）を制御できることも確認した。この成果は、ヒューマンコンピュータインタラクションの国際学会であるACM CHI2019にて発表し、優秀論文賞(honorable mentions award)を受賞した。さらにDCEXPO Innovative Techynologies 2019に選出された。本研究は、より基礎的には人間の能力と、深層学習を代表とする人工知能の能力が実時間で結合することを意味する。これは、従来の自律的なロボットと人間とのインタラクション（ヒューマンロボットインタラクション）とは異なる形態での人間と人工知能とのインタラクションの方向性を示すものである。これをHuman-Computer Integrationと呼ぶことを提案した。この構想を、ヒューマンコンピュータインタラクションのトップカンファレンスであるACM UIST 2019のビジョン論文として公表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
サイレントボイスインタラクションの研究は計画通り進展している。本年度は、トップカンファレンス(ACM CHI2019)での論文賞の受賞、国内の技術イベントであるDCEXPO Innovative Technologiesでの受賞があり、研究成果を評価して頂いたことが当初の計画以上の成果であった。また、超音波イメージング以外の手法についても着手しており、当初の計画以上の進展であると言える。
|
| Strategy for Future Research Activity |
今年度は、サイレントボイスの頑強性を高めるためのニューラルネットの構造改善、超音波イメージング以外の手法によるサイレントボイスの可能性について研究を進め、より実用性の高いインタラクションが可能となるようにする。
|
