| 研究課題/領域番号 |
20J15015
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
木村 直紀 東京大学, 学際情報学府, 特別研究員(DC2)
|
|---|
| 研究期間 (年度) |
2020-04-24 – 2022-03-31
|
| キーワード | サイレントスピーチ |
|---|
| 研究実績の概要 |
本研究では声帯を使うことなく発話を可能にする無声発話技術を開発している. 無声発話は気管切開，声帯の切除，ALS, 高齢等により発話が困難な人に新しいコミュニケーション手段を提供する.また，会議やコンサート，電車内など静寂を求められる場所にて発話を用いたコミュニケー ションやコンピュータの利用を可能にする. 一方で飛行機の中のような環境音が大きく音声の聞き取りやコンピュータによる音声認識が難しい場所における代替手段となる. 無声発話は発音を生成する調音器官の運動を捉えることで実現可能と考えられる. これまでに超音波画像をはじめとして，RGBカメラ，ミリ波レーダー，口蓋設置型下トラッキング静電容量アレイ，筋電センサ，脳波等をセンサとして試してきた．本年度においてはジョージア工科大学への訪問を通じてサイレントスピーチインタフェースのための隠れマルコフモデルを用いたパイプラインを作成した. またサイレントスピーチ自体の困難さから，より容易なサイレントスペリングというインタラクションを発明した.この訪問では超音波画像と相互補完的に働くことが予想される，舌トラッキング静電容量アレイを用いた.
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
ジョージア工科大学への訪問を通じて，今後の研究の基盤となるサイレントスピーチインタフェースのための隠れマルコフモデルを用いたパイプラインを作成した.また，サイレントスピーチ自体の困難さから，より容易なサイレントスペリングというインタラクションを発明した.
|
| 今後の研究の推進方策 |
研究を遂行する上で，サイレントスピーチというタスクの本質的な困難さが明らかになりつつあり，前年度はより容易なサイレントスペリングというインタラクションを発明した. 本年度においては今までの知見を融合し，実際に動作するシステムを構築していく.具体的には，サイレントスペリングを用いたデスクトップ ・テキストエントリーシステムの開発，超音波画像と相互補完的に働くセンサ(RGBカメラ，ミリ波レーダー，舌トラッキング静電容量アレイ 等)を用いたデータセット収集，隠れマルコフモデルやニューラルネットワークを用いた無声発話認識器の開発などをおこない，積極的に学会 発表を行なってゆく.また，知識やデータセットの共有・交流のため，ジョージア工科大学をはじめとする海外の研究機関への訪問を行う.
|
