| 研究課題/領域番号 |
15K20886
|
|---|
| 研究機関 | 筑波大学 |
|---|
研究代表者 |
善甫 啓一 筑波大学, システム情報系, 助教 (70725712)
|
|---|
| 研究期間 (年度) |
2015-04-01 – 2018-03-31
|
| キーワード | 情報補償 / 聴覚支援 / ウエアラブル / アレー信号処理 / 単一チャネルマイクロフォンアレー / 感覚代行 |
|---|
| 研究実績の概要 |
下記の課題について研究実績の概要を述べる。
課題B-3 複数対話者の目的音強調：提案システムの実利用を考えた際に，複数人から発せられる話し声を別個に処理する必要がある。ヘッドマウントディスプレイに付属しているカメラを用いて話者方向の特定を行った。カメラより得られた画像情報を基に顔認識を行い，その画像上の位置から，カメラのレンズ収差の補正を行うことで，話者の方向を計算する。この処理により複数対話者の顔方向を認識し，対応した目的音強調手法を実現した。これにより，音声強調を必要とする話者の方向を知ることができ，ビームフォーミングによる目的音強調・雑音抑制が可能となった。
課題C 音声認識を行い字幕を提示するソフトウェアの開発：ヘッドマウントディスプレイ画面上に文字情報を字幕として提示するソフトウェアを開発した。課題B-3により推定された話者方向に対応する，強調された目的音の音声認識を行うことで，会話情報を得る。音声認識にはクラウドサービスの音声認識APIを利用し，強調された目的音源から字幕情報へ変換を行う。これにより，文字情報として対話情報を得ることができ，ヘッドマウントディスプレイ内に対話情報の表示が可能となった。
ただし，このシステムは低演算能力の端末において実装したシステムであり，該当システムの評価を被験者を通した実験として行ったところ，字幕として表示されるまでの遅延が指摘される結果となった。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
2016年度に予定していた課題は，当初用意した透過型ヘッドマウントディスプレイ（Android OSによるデバイス）において計画通り遂行された。
|
| 今後の研究の推進方策 |
本研究題目は，市販のヘッドマウントディスプレイ(HMD)を基盤に追加システムを実装することで，目的が実現される研究である。研究の核となる部分は成果として挙がったが，市場の活性化により，性能の高いHMDが市販されつつある。そのため，最新のHMDの利用が適切で有り，伴ってソフトウエア開発のプログラミング言語変更などを次年度は実施する。
|
| 次年度使用額が生じた理由 |
本研究題目は，市販のヘッドマウントディスプレイ(HMD)を基盤に追加システムを実装することで，目的が実現される研究である。市場の活性化により，性能の高いHMDが市販されつつある。そのため，システムの応答性，利用における煩雑さの回避の観点から，最新のHMDの利用が適切で有り，伴ってソフトウエア開発のプログラミング言語変更などを次年度は実施する。
|
| 次年度使用額の使用計画 |
主にHMDの購入や研究成果発表のために使用を行う。購入するHMDは，演算能力，インターフェースの観点からMicrosoft社のHololensを検討している。
|
