2017 Fiscal Year Annual Research Report
Acoustic signal processing for real world captioning system via see-through head mounted display
| Project/Area Number |
15K20886
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
善甫 啓一 筑波大学, システム情報系, 助教 (70725712)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 情報補償 / 聴覚支援 / アレー信号処理 / 単一チャネルマイクロフォンアレー / 感覚代行 |
|---|
| Outline of Annual Research Achievements |
本研究題目は市販のヘッドマウントディスプレイ（HMD）を基盤に追加システムを実装することで，目的が実現される研究である。
2016年度に実施した課題として，課題C 音声認識を行い字幕を提示するソフトウェアの開発:HMD画面上に文字情報を字幕として提示するソフトウェアを開発した。課題B-3により推定された話者方向に対応する，強調された目的音の音声認識を行うことで，会話情報を得る。 音声認識にはクラウドサービスの音声認識APIを利用し，強調された目的音源から字幕情報へ変換を行う。これにより，文字情報として対話情報を得ることができ，HMD内に対話情報の表示が可能となった。
ただし，このシステムは低演算能力の端末において実装したシステムであり，該当システムの評価を被験者を通した実験として行ったところ，字幕として表示されるまでの遅延が指摘される結果となった。そこで，これらの問題点に少しでも対応するために2017年度は，これまでに実施した項目を，より性能の高いHMDを用いて実施した。従来まではAndroid環境においての開発であったが，HMDの変更に伴いUnity環境での開発に切り替え，ソフトウェア開発を実施した。その結果，聴覚障害者向けの日常会話支援を，よりストレスがない使用感で提供することが可能となった。また，当初計画であった字幕付与型の情報保証のみならず，吹き出しを重畳する情報保証が可能となった。
|
Research Products
(4 results)
