• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2017 年度 実施状況報告書

深層学習を用いた環境音認識による聴覚障害者支援システム基盤の開発

研究課題

研究課題/領域番号 16K16460
研究機関筑波技術大学

研究代表者

白石 優旗  筑波技術大学, 産業技術学部, 准教授 (00389214)

研究期間 (年度) 2016-04-01 – 2019-03-31
キーワード聴覚障害者支援 / 福祉工学 / 支援機器 / 音認識 / 機械学習
研究実績の概要

本研究は,難聴高齢者を含む聴覚障害者が安全・安心かつ質の高い生活(QOL)を送るため,近年様々な分野で大幅に識別性能を向上している深層学習と,多くの人々がインターネットを通して容易に協力可能なクラウドソーシングのしくみを用いることで,環境音を非常に高い精度で識別しユーザに伝達する,聴覚障害者支援システム基盤を開発するものである.本システムは,1)スマートフォンやウェアラブル端末を活用することで日常的に利用可能,2)クラウドソーシング技術により深層学習に必要な大量データを容易に確保可能,3)学習機能により新規の環境音に対応可能,という利点を持つ.本助成期間においては,環境音の中でも安全・安心に直結する警告音(クラクション,救急車等)を主な対象とする.

平成29年度は,識別可能な警告音にこれまでの救急車のサイレンと自転車のベルに加えて,自動車のクラクションと火災警報音を追加し,更に,雑音を第5クラスの対象音として学習することで雑音への対策を行なった.結果,騒音の多い実環境下においても,クラクション,自転車のベル,救急車のサイレン,火災警報音全ての場合で99%以上の識別精度を確認できた.また,未知のクラクション音に対しても95%以上の識別率が得られた.一方で,警告音と同時に大きな雑音が発生した場合は,警告音が雑音として識別されることがあったものの,更なる統合処理を加えることで正しく警告音を伝達できる可能性が示された.クラウドソーシングによる学習データ採取システムについては,非営利のマイクロボランティア・クラウドソーシングプラットフォームであるCrowd4Uを活用することで平成30年度に構築する予定である.本研究の実施により得られた成果については,複数の国内学会,国際会議,雑誌論文において発表を行った.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

当初の計画通り,対象警告音の種類を初年度から増やし,更に日常雑音環境下における識別精度を99%以上まで向上させた.また,本研究の実施により得られた成果については,複数の国内学会,国際会議,雑誌論文において発表を行った.

今後の研究の推進方策

未知のクラクション音の識別率を向上させるため,更なる学習データの収集を行う.その際,クラクションの種類は多種多様であるため,多くの協力者を募ってクラウドソーシングの手法によりデータ収集を行う.また,実用化を目指し,アプリケーションの改良によるユーザビリティの向上,情報伝達デバイスの活用,集音デバイスの活用などについて検討する.更に,新たな環境音データを追加登録可能なシステム基盤についても検討する.

次年度使用額が生じた理由

(理由)
学部生が特別研究のテーマとして学習データの採取を行うこととなり,謝金の支払いが発生しなかったため.
(使用計画)
物品費や謝金に充当する.

  • 研究成果

    (12件)

すべて 2018 2017

すべて 雑誌論文 (5件) (うち査読あり 5件、 オープンアクセス 1件) 学会発表 (7件)

  • [雑誌論文] Proposal of a Vibration Stimulus Start System for Deaf and Hard of Hearing2018

    • 著者名/発表者名
      A. Shitara, Y. Shiraishi, M. Namatame
    • 雑誌名

      Journal on Technology & Persons with Disabilities

      巻: - ページ: accepted

    • 査読あり / オープンアクセス
  • [雑誌論文] Skill-and-Stress-Aware Assignment of Crowd-Worker Groups to Task Streams2018

    • 著者名/発表者名
      K. Kumai, M. Matsubara, Y. Shiraishi, D. Wakatsuki, J. Zhang, H. Kitagawa, and A. Morishima
    • 雑誌名

      Proc. the 6th AAAI Conference on Human Computation and Crowdsourcing (HCOMP 2018)

      巻: - ページ: accepted

    • 査読あり
  • [雑誌論文] Crowdsourced real-time captioning of sign language by deaf and hard-of-hearing people2017

    • 著者名/発表者名
      Shiraishi Yuhki、Zhang Jianwei、Wakatsuki Daisuke、Kumai Katsumi、Morishima Atsuyuki
    • 雑誌名

      International Journal of Pervasive Computing and Communications

      巻: 13 ページ: 2~25

    • DOI

      https://doi.org/10.1108/IJPCC-02-2017-0014

    • 査読あり
  • [雑誌論文] Complement of Incomplete Task Results for Real-time Crowdsourcing Interpretation2017

    • 著者名/発表者名
      T. Shionome, H. Hashimoto, J. Zhang, Y. Shiraishi, D. Wakatsuki, Y. Seki, and A. Morishima
    • 雑誌名

      Proc. the 21th International Conference on Asian Language Processing (IALP 2017)

      巻: - ページ: 359-362

    • 査読あり
  • [雑誌論文] Group rotation management in real-time crowdsourcing2017

    • 著者名/発表者名
      Kumai Katsumi、Zhang Jianwei、Shiraishi Yuhki、Wakatsuki Daisuke、Kitagawa Hiroyuki、Morishima Atsuyuki
    • 雑誌名

      Proc. the 19th International Conference on Information Integration and Web-based Applications & Services (iiWAS 2017)

      巻: - ページ: 23-31

    • DOI

      10.1145/3151759.3151767

    • 査読あり
  • [学会発表] スマートフォンを用いた深層学習による警告音認識システムの改良2018

    • 著者名/発表者名
      矢野和希,白石優旗
    • 学会等名
      情報処理学会アクセシビリティ研究会(IPSJ SIG AAC)第6回研究会
  • [学会発表] 深層学習を用いたセンサグローブによる指文字認識の検討2018

    • 著者名/発表者名
      小松周生,白石優旗
    • 学会等名
      情報処理学会アクセシビリティ研究会(IPSJ SIG AAC)第6回研究会
  • [学会発表] クラウドワーカの能力とインクルージョン性を考慮したタスク割当て手法2018

    • 著者名/発表者名
      橋本大空,松原正樹,白石優旗,張建偉,若月大輔,森嶋厚行
    • 学会等名
      第10回データ工学と情報マネジメントに関するフォーラム(DEIM 2018)
  • [学会発表] スポーツ観戦に関するタイムラインを用いた聴覚障害者の情報保障の検討2018

    • 著者名/発表者名
      若月大輔,平賀瑠美,小林真,白石優旗,塩野目剛亮,張建偉,福永克己,宮城愛美,森嶋厚行
    • 学会等名
      情報処理学会アクセシビリティ研究会(IPSJ SIG AAC)第6回研究会
  • [学会発表] ISeee: パラスポーツにおける情報保障2018

    • 著者名/発表者名
      平賀瑠美,若月大輔,小林真,白石優旗,塩野目剛亮,張建偉,福永克己,宮城愛美,森嶋厚行
    • 学会等名
      電子情報通信学会2018年総合大会
  • [学会発表] 聴覚障害者のためのスポーツ観戦時の情報保障の基礎的検討2018

    • 著者名/発表者名
      若月大輔,平賀瑠美,小林真,白石優旗,塩野目剛亮,張建偉,福永克己,宮城愛美,森嶋厚行
    • 学会等名
      電子情報通信学会2018年総合大会
  • [学会発表] クラウドソーシングによる字幕情報保障に関する基礎的検討(第2報)~音声情報と入力・送出文との対応,および個人の入力行動分析~2017

    • 著者名/発表者名
      塩野目剛亮,若月大輔,白石優旗,張建偉,森嶋厚行,平賀瑠美
    • 学会等名
      電子情報通信学会福祉情報工学研究会(WIT)

URL: 

公開日: 2018-12-17  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi