2016 Fiscal Year Research-status Report
透過型ヘッドマウントディスプレイを用いる実世界字幕を実現する音響信号処理
| Project/Area Number |
15K20886
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
善甫 啓一 筑波大学, システム情報系, 助教 (70725712)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 情報補償 / 聴覚支援 / ウエアラブル / アレー信号処理 / 単一チャネルマイクロフォンアレー / 感覚代行 |
|---|
| Outline of Annual Research Achievements |
下記の課題について研究実績の概要を述べる。
課題B-3 複数対話者の目的音強調：提案システムの実利用を考えた際に，複数人から発せられる話し声を別個に処理する必要がある。ヘッドマウントディスプレイに付属しているカメラを用いて話者方向の特定を行った。カメラより得られた画像情報を基に顔認識を行い，その画像上の位置から，カメラのレンズ収差の補正を行うことで，話者の方向を計算する。この処理により複数対話者の顔方向を認識し，対応した目的音強調手法を実現した。これにより，音声強調を必要とする話者の方向を知ることができ，ビームフォーミングによる目的音強調・雑音抑制が可能となった。
課題C 音声認識を行い字幕を提示するソフトウェアの開発：ヘッドマウントディスプレイ画面上に文字情報を字幕として提示するソフトウェアを開発した。課題B-3により推定された話者方向に対応する，強調された目的音の音声認識を行うことで，会話情報を得る。音声認識にはクラウドサービスの音声認識APIを利用し，強調された目的音源から字幕情報へ変換を行う。これにより，文字情報として対話情報を得ることができ，ヘッドマウントディスプレイ内に対話情報の表示が可能となった。
ただし，このシステムは低演算能力の端末において実装したシステムであり，該当システムの評価を被験者を通した実験として行ったところ，字幕として表示されるまでの遅延が指摘される結果となった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2016年度に予定していた課題は，当初用意した透過型ヘッドマウントディスプレイ（Android OSによるデバイス）において計画通り遂行された。
|
| Strategy for Future Research Activity |
本研究題目は，市販のヘッドマウントディスプレイ(HMD)を基盤に追加システムを実装することで，目的が実現される研究である。研究の核となる部分は成果として挙がったが，市場の活性化により，性能の高いHMDが市販されつつある。そのため，最新のHMDの利用が適切で有り，伴ってソフトウエア開発のプログラミング言語変更などを次年度は実施する。
|
| Causes of Carryover |
本研究題目は，市販のヘッドマウントディスプレイ(HMD)を基盤に追加システムを実装することで，目的が実現される研究である。市場の活性化により，性能の高いHMDが市販されつつある。そのため，システムの応答性，利用における煩雑さの回避の観点から，最新のHMDの利用が適切で有り，伴ってソフトウエア開発のプログラミング言語変更などを次年度は実施する。
|
| Expenditure Plan for Carryover Budget |
主にHMDの購入や研究成果発表のために使用を行う。購入するHMDは，演算能力，インターフェースの観点からMicrosoft社のHololensを検討している。
|
Research Products
(3 results)
