• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of Hearing Impaired Support System Platform by Environmental Sound Recognition using Deep Learning

Research Project

Project/Area Number 16K16460
Research Category

Grant-in-Aid for Young Scientists (B)

Allocation TypeMulti-year Fund
Research Field Rehabilitation science/Welfare engineering
Research InstitutionTsukuba University of Technology

Principal Investigator

Shiraishi Yuhki  筑波技術大学, 産業技術学部, 准教授 (00389214)

Project Period (FY) 2016-04-01 – 2019-03-31
Project Status Completed (Fiscal Year 2018)
Budget Amount *help
¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2018: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2017: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2016: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Keywords聴覚障害者支援 / 福祉工学 / 支援機器 / 音認識 / 機械学習
Outline of Final Research Achievements

This study aims to develop a hearing impaired support system platform that identifies environmental sound with very high accuracy and transmits it to the user. As a result, 1) the developed system classified five kinds of alarm sounds (car horn, ambulance siren, bicycle bell, fire alarm, and noise) even in noisy environment such as sidewalk using a smartphone, 2) the system can notify only alarm sound types you selected, and 3) new alarm sound types can be classified by relearning using new added data.

Academic Significance and Societal Importance of the Research Achievements

1)環境音には多種のノイズが含まれ,その中から種々の移動体が発する特定の音を高精度で識別することは一般に困難な課題とみなされているにも関わらず,本研究において高い精度を示すことができたこと,並びに,2)昨今の音声認識研究の進展は目覚ましいものの,福祉工学的視点からの環境音認識研究の不足が世界的に叫ばれていることから,本研究の学術的意義を確認できる.また,本システムにより聴覚障害者や聴力の低下した高齢者等の安全性を確保することが可能になることから,社会的意義についても確認できる.

Report

(4 results)
  • 2018 Annual Research Report   Final Research Report ( PDF )
  • 2017 Research-status Report
  • 2016 Research-status Report
  • Research Products

    (27 results)

All 2019 2018 2017 2016

All Journal Article (10 results) (of which Peer Reviewed: 10 results,  Open Access: 3 results,  Acknowledgement Compliant: 3 results) Presentation (17 results)

  • [Journal Article] Tactile Stimulus Start System Proposal for Deaf and Hard of Hearing Sprinters2019

    • Author(s)
      Shitara A., Namatame M., Shiraishi Y.
    • Journal Title

      Proc. 7th International Conference for Universal Design (UD 2019)

      Volume: - Pages: 1-8

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Skill-and-Stress-Aware Assignment of Crowd-Worker Groups to Task Streams2018

    • Author(s)
      Kumai K., Matsubara M., Shiraishi Y., Wakatsuki D., Zhang J., Kitagawa H., and Morishima A.
    • Journal Title

      Proc. the 6th AAAI Conference on Human Computation and Crowdsourcing (HCOMP 2018)

      Volume: - Pages: 88-97

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] A Task Assignment Method Considering Inclusiveness and Activity Degree2018

    • Author(s)
      Hashimoto H., Matsubara M., Shiraishi Y., Wakatsuki D., Zhang J., and Morishima A.
    • Journal Title

      Proc. The Second IEEE Workshop on Human-in-the-loop Methods and Human Machine Collaboration in BigData (HMData2018)

      Volume: - Pages: 3497-3502

    • DOI

      10.1109/bigdata.2018.8622320

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Proposal of a Vibration Stimulus Start System for Deaf and Hard of Hearing2018

    • Author(s)
      A. Shitara, Y. Shiraishi, M. Namatame
    • Journal Title

      Journal on Technology & Persons with Disabilities

      Volume: -

    • Related Report
      2017 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Skill-and-Stress-Aware Assignment of Crowd-Worker Groups to Task Streams2018

    • Author(s)
      K. Kumai, M. Matsubara, Y. Shiraishi, D. Wakatsuki, J. Zhang, H. Kitagawa, and A. Morishima
    • Journal Title

      Proc. the 6th AAAI Conference on Human Computation and Crowdsourcing (HCOMP 2018)

      Volume: -

    • Related Report
      2017 Research-status Report
    • Peer Reviewed
  • [Journal Article] Crowdsourced Real-Time Captioning of Sign Language by Deaf and Hard-of-Hearing People2017

    • Author(s)
      J. Zhang, Y. Shiraishi, D. Wakatsuki, K. Kumai and A. Morishima
    • Journal Title

      International Journal of Pervasive Computing and Communications (IJPCC)

      Volume: Vol.13, issue.1 Issue: 1 Pages: 2-25

    • DOI

      10.1108/ijpcc-02-2017-0014

    • Related Report
      2017 Research-status Report
    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Complement of Incomplete Task Results for Real-time Crowdsourcing Interpretation2017

    • Author(s)
      T. Shionome, H. Hashimoto, J. Zhang, Y. Shiraishi, D. Wakatsuki, Y. Seki, and A. Morishima
    • Journal Title

      Proc. the 21th International Conference on Asian Language Processing (IALP 2017)

      Volume: - Pages: 359-362

    • Related Report
      2017 Research-status Report
    • Peer Reviewed
  • [Journal Article] Group rotation management in real-time crowdsourcing2017

    • Author(s)
      Kumai Katsumi、Zhang Jianwei、Shiraishi Yuhki、Wakatsuki Daisuke、Kitagawa Hiroyuki、Morishima Atsuyuki
    • Journal Title

      Proc. 19th International Conference on Information Integration and Web-based Applications & Services (iiWAS 2017)

      Volume: - Pages: 23-31

    • DOI

      10.1145/3151759.3151767

    • Related Report
      2017 Research-status Report
    • Peer Reviewed
  • [Journal Article] Group Rotation Type Crowdsourcing2016

    • Author(s)
      Kumai, K., Shiraishi, Y., Zhang, J., Kitagawa, H., and Morishima, A.
    • Journal Title

      CoRR

      Volume: abs/1609.00117

    • Related Report
      2016 Research-status Report
    • Peer Reviewed / Open Access / Acknowledgement Compliant
  • [Journal Article] Real-Time Captioning of Sign Language by Groups of Deaf and Hard-of-Hearing People2016

    • Author(s)
      Zhang, J., Shiraishi, Y., Kumai,K., and Morishima, A.
    • Journal Title

      Proceedings of the 18th International Conference on Information Integration and Web-based Applications and Services, iiWAS 2016

      Volume: - Pages: 54-63

    • DOI

      10.1145/3011141.3011143

    • Related Report
      2016 Research-status Report
    • Peer Reviewed / Acknowledgement Compliant
  • [Presentation] 深層学習を用いたセンサグローブによる指文字認識の改良2019

    • Author(s)
      土屋智彦,白石優旗
    • Organizer
      情報処理学会アクセシビリティ研究会(IPSJ SIG AAC)第9回研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 聴覚障害者へのスタート合図に最適な触覚刺激インターフェースの特定-陸上競技短距離走スタートシステムのユニバサールデザインを目指して-2019

    • Author(s)
      設楽明寿,生田目美紀,白石優旗
    • Organizer
      情報処理学会第81回全国大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] スマートフォンを用いた深層学習による警告音認識システムの改良2018

    • Author(s)
      矢野和希,白石優旗
    • Organizer
      情報処理学会アクセシビリティ研究会(IPSJ SIG AAC)第6回研究会
    • Related Report
      2017 Research-status Report
  • [Presentation] 深層学習を用いたセンサグローブによる指文字認識の検討2018

    • Author(s)
      小松周生,白石優旗
    • Organizer
      情報処理学会アクセシビリティ研究会(IPSJ SIG AAC)第6回研究会
    • Related Report
      2017 Research-status Report
  • [Presentation] クラウドワーカの能力とインクルージョン性を考慮したタスク割当て手法2018

    • Author(s)
      橋本大空,松原正樹,白石優旗,張建偉,若月大輔,森嶋厚行
    • Organizer
      第10回データ工学と情報マネジメントに関するフォーラム(DEIM 2018)
    • Related Report
      2017 Research-status Report
  • [Presentation] スポーツ観戦に関するタイムラインを用いた聴覚障害者の情報保障の検討2018

    • Author(s)
      若月大輔,平賀瑠美,小林真,白石優旗,塩野目剛亮,張建偉,福永克己,宮城愛美,森嶋厚行
    • Organizer
      情報処理学会アクセシビリティ研究会(IPSJ SIG AAC)第6回研究会
    • Related Report
      2017 Research-status Report
  • [Presentation] ISeee: パラスポーツにおける情報保障2018

    • Author(s)
      平賀瑠美,若月大輔,小林真,白石優旗,塩野目剛亮,張建偉,福永克己,宮城愛美,森嶋厚行
    • Organizer
      電子情報通信学会2018年総合大会
    • Related Report
      2017 Research-status Report
  • [Presentation] 聴覚障害者のためのスポーツ観戦時の情報保障の基礎的検討2018

    • Author(s)
      若月大輔,平賀瑠美,小林真,白石優旗,塩野目剛亮,張建偉,福永克己,宮城愛美,森嶋厚行
    • Organizer
      電子情報通信学会2018年総合大会
    • Related Report
      2017 Research-status Report
  • [Presentation] クラウドソーシング型情報保障におけるタスク分割の基礎的検討2017

    • Author(s)
      若月大輔,張建偉,白石優旗,熊井克仁,森嶋厚行
    • Organizer
      電子情報通信学会2017年総合大会
    • Place of Presentation
      名城大学天白キャンパス(愛知県名古屋市)
    • Year and Date
      2017-03-22
    • Related Report
      2016 Research-status Report
  • [Presentation] 通訳クラウドソーシングにおける不完全なタスク結果の統合手法2017

    • Author(s)
      橋本大空,白石優旗,張建偉,若月大輔,関洋平,森嶋厚行
    • Organizer
      情報処理学会第79回全国大会
    • Place of Presentation
      名古屋大学(愛知県名古屋市)
    • Year and Date
      2017-03-16
    • Related Report
      2016 Research-status Report
  • [Presentation] スマートフォンを用いた深層学習による警告音認識システムの検討2017

    • Author(s)
      畑伸佳,白石優旗
    • Organizer
      情報処理学会アクセシビリティ研究会(IPSJ SIG AAC)第3回研究会
    • Place of Presentation
      筑波技術大学春日キャンパス (茨城県つくば市)
    • Year and Date
      2017-03-10
    • Related Report
      2016 Research-status Report
  • [Presentation] 振動刺激を用いたクラウチングスタートにおける反応時間計測システムの開発2017

    • Author(s)
      設楽明寿,白石優旗
    • Organizer
      情報処理学会アクセシビリティ研究会(IPSJ SIG AAC)第3回研究会
    • Place of Presentation
      筑波技術大学春日キャンパス (茨城県つくば市)
    • Year and Date
      2017-03-10
    • Related Report
      2016 Research-status Report
  • [Presentation] 長楕円体状青果物高速自動選別システムへの深層学習の適用2017

    • Author(s)
      吉田祐太,白石優旗
    • Organizer
      WIT IPSJ-AAC
    • Place of Presentation
      筑波技術大学春日キャンパス (茨城県つくば市)
    • Year and Date
      2017-03-10
    • Related Report
      2016 Research-status Report
  • [Presentation] クラウドソーシングによる字幕情報保障に関する基礎的検討 ーウェブベース遠隔文字通訳システムcaptiOnlineスマートフォン版の開発ー2017

    • Author(s)
      塩野目剛亮,若月大輔,白石優旗,張建偉,森嶋厚行,平賀瑠美
    • Organizer
      情報処理学会アクセシビリティ研究会(IPSJ SIG AAC)第3回研究会
    • Place of Presentation
      筑波技術大学春日キャンパス (茨城県つくば市)
    • Year and Date
      2017-03-10
    • Related Report
      2016 Research-status Report
  • [Presentation] クラウドソーシングによる字幕情報保障に関する基礎的検討(第2報)~音声情報と入力・送出文との対応,および個人の入力行動分析~2017

    • Author(s)
      塩野目剛亮,若月大輔,白石優旗,張建偉,森嶋厚行,平賀瑠美
    • Organizer
      電子情報通信学会福祉情報工学研究会(WIT)
    • Related Report
      2017 Research-status Report
  • [Presentation] 聴覚障害者陸上競技に適した振動刺激スタートシステムの提案2016

    • Author(s)
      設楽明寿,白石優旗
    • Organizer
      情報処理学会アクセシビリティ研究会(IPSJ SIG AAC)第2回研究会
    • Place of Presentation
      国立情報学研究所(東京都千代田区)
    • Year and Date
      2016-12-02
    • Related Report
      2016 Research-status Report
  • [Presentation] クラウドソーシングによるパラリンピック競技実況の情報保障に関する一考察2016

    • Author(s)
      塩野目剛亮,張建偉,白石優旗,平賀瑠美
    • Organizer
      2016年度人工知能学会全国大会(JSAI 2016)
    • Place of Presentation
      北九州国際会議場(福岡県北九州市)
    • Year and Date
      2016-06-06
    • Related Report
      2016 Research-status Report

URL: 

Published: 2016-04-21   Modified: 2020-03-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi