2015 Fiscal Year Research-status Report
透過型ヘッドマウントディスプレイを用いる実世界字幕を実現する音響信号処理
| Project/Area Number |
15K20886
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
善甫 啓一 筑波大学, システム情報系, 助教 (70725712)
|
|---|
| Project Period (FY) |
2015-04-01 – 2017-03-31
|
| Keywords | 情報保証 / 聴覚支援 / ウェアラブル / アレー信号処理 / 単一チャネルマイクロフォンアレー / 感覚代行 |
|---|
| Outline of Annual Research Achievements |
下記の課題について研究実績の概要を述べる。
課題A：単一チャネルマイクロフォンアレーの設計：透過型ヘッドマウントディスプレイ(HMD)に搭載可能なマイクロフォンアレーの設計を行い，得られるビームパターンの解析を行った。その結果，HMDに搭載可能なサイズで最適な素子配置を明らかにした。
課題B-1 対面対話者の顔認識：透過型ヘッドマウントディスプレイに搭載されているカメラを用いて，音声認識対象者の顔を認識可能となった。現在利用している機種においては取得される画像のピクセル位置と物理的な位置関係・角度への対応付けが可能となった。ただし，機種によってレンズ収差が異なるため，異なる機種を利用するためには別途調整が必要ではある。
課題B-2 畳み込みによる目的音強調：通常ではアレー信号処理が困難となる，ウェアラブル端末やスマートフォンに搭載されている1チャネルのマイク入力端子に対して，事前に計測したインパルス応答を利用した信号処理手法を概ね確立した。その結果，単一チャネルの入力信号から音源到来方向推定・目的音強調等のアレー信号処理が可能となった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2015年度に予定していた課題は，利用している透過型ヘッドマウントディスプレイにおいては当初通り遂行された。また，システム完成後のフィジビリティテストを行うための聴覚支援学校等との共同体制も整いつつある。
|
| Strategy for Future Research Activity |
次年度は，課題B-3 複数対話者の目的音強調を行うことで，課題B 対面対話者の音声強調手法の確立を行う。さらに，課題C 音声認識を行い字幕を提示するソフトウェアの開発を行うことで，課題D 結果・成果の活用をフィジビリティテストを通して実施する予定である。また，テストの結果を踏まえて，より現場密着型の技術とするために改善を繰り返す予定である。
|
| Causes of Carryover |
備品として計上していた，ダミーヘッドとA/D変換デバイスに関しては，別途予算において調達されたため。また，日進月歩でリリースされるヘッドマウントディスプレイの最新のもので複数の機種の準備に補填することが望ましいと判断したため。
|
| Expenditure Plan for Carryover Budget |
2016年度においてリリースされる複数機種のヘッドマウントディスプレイ調達に当てる
|
