• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2016 Fiscal Year Research-status Report

透過型ヘッドマウントディスプレイを用いる実世界字幕を実現する音響信号処理

Research Project

Project/Area Number 15K20886
Research InstitutionUniversity of Tsukuba

Principal Investigator

善甫 啓一  筑波大学, システム情報系, 助教 (70725712)

Project Period (FY) 2015-04-01 – 2018-03-31
Keywords情報補償 / 聴覚支援 / ウエアラブル / アレー信号処理 / 単一チャネルマイクロフォンアレー / 感覚代行
Outline of Annual Research Achievements

下記の課題について研究実績の概要を述べる。
課題B-3 複数対話者の目的音強調:提案システムの実利用を考えた際に,複数人から発せられる話し声を別個に処理する必要がある。ヘッドマウントディスプレイに付属しているカメラを用いて話者方向の特定を行った。カメラより得られた画像情報を基に顔認識を行い,その画像上の位置から,カメラのレンズ収差の補正を行うことで,話者の方向を計算する。この処理により複数対話者の顔方向を認識し,対応した目的音強調手法を実現した。これにより,音声強調を必要とする話者の方向を知ることができ,ビームフォーミングによる目的音強調・雑音抑制が可能となった。
課題C 音声認識を行い字幕を提示するソフトウェアの開発:ヘッドマウントディスプレイ画面上に文字情報を字幕として提示するソフトウェアを開発した。課題B-3により推定された話者方向に対応する,強調された目的音の音声認識を行うことで,会話情報を得る。音声認識にはクラウドサービスの音声認識APIを利用し,強調された目的音源から字幕情報へ変換を行う。これにより,文字情報として対話情報を得ることができ,ヘッドマウントディスプレイ内に対話情報の表示が可能となった。
ただし,このシステムは低演算能力の端末において実装したシステムであり,該当システムの評価を被験者を通した実験として行ったところ,字幕として表示されるまでの遅延が指摘される結果となった。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

2016年度に予定していた課題は,当初用意した透過型ヘッドマウントディスプレイ(Android OSによるデバイス)において計画通り遂行された。

Strategy for Future Research Activity

本研究題目は,市販のヘッドマウントディスプレイ(HMD)を基盤に追加システムを実装することで,目的が実現される研究である。研究の核となる部分は成果として挙がったが,市場の活性化により,性能の高いHMDが市販されつつある。そのため,最新のHMDの利用が適切で有り,伴ってソフトウエア開発のプログラミング言語変更などを次年度は実施する。

Causes of Carryover

本研究題目は,市販のヘッドマウントディスプレイ(HMD)を基盤に追加システムを実装することで,目的が実現される研究である。市場の活性化により,性能の高いHMDが市販されつつある。そのため,システムの応答性,利用における煩雑さの回避の観点から,最新のHMDの利用が適切で有り,伴ってソフトウエア開発のプログラミング言語変更などを次年度は実施する。

Expenditure Plan for Carryover Budget

主にHMDの購入や研究成果発表のために使用を行う。購入するHMDは,演算能力,インターフェースの観点からMicrosoft社のHololensを検討している。

  • Research Products

    (3 results)

All 2017 2016

All Presentation (2 results) Patent(Industrial Property Rights) (1 results)

  • [Presentation] 単一チャネルマイクロフォンアレーを用いる話者位置方向からの音源強調2017

    • Author(s)
      善甫 啓一, 末光 一貴, 水谷 孝一, 若槻 尚斗
    • Organizer
      日本音響学会, 2016年春季研究発表会
    • Place of Presentation
      明治大学(神奈川県川崎市)
    • Year and Date
      2017-03-15 – 2017-03-15
  • [Presentation] 単一チャネルマイクロフォンアレーによる会話情報の字幕化2016

    • Author(s)
      末光 一貴, 善甫 啓一, 水谷 孝一, 若槻 尚斗
    • Organizer
      電子情報通信学会 HCGシンポジウム2016
    • Place of Presentation
      高知市文化プラザかるぽーと(高知県高知市)
    • Year and Date
      2016-12-08 – 2016-12-08
  • [Patent(Industrial Property Rights)] 信号処理装置、信号処理方法及び信号処理プログラム2016

    • Inventor(s)
      善甫 啓一,末光 一貴,水谷 孝一,若槻 尚斗
    • Industrial Property Rights Holder
      善甫 啓一,末光 一貴,水谷 孝一,若槻 尚斗
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      特願2016-092777
    • Filing Date
      2016-05-02

URL: 

Published: 2018-01-16  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi