• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Establishment of text writing application for upper limb disabled person using hands-free speech recognition and gaze detection

Research Project

Project/Area Number 16K21579
Research Category

Grant-in-Aid for Young Scientists (B)

Allocation TypeMulti-year Fund
Research Field Perceptual information processing
Rehabilitation science/Welfare engineering
Research InstitutionTokuyama College of Technology

Principal Investigator

Miyazaki Ryoichi  徳山工業高等専門学校, 情報電子工学科, 助教 (40734728)

Project Period (FY) 2016-04-01 – 2019-03-31
Project Status Completed (Fiscal Year 2018)
Budget Amount *help
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2018: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2017: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2016: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Keywords上肢不自由者 / 音声認識 / 視線検出 / ハンズフリー音声認識 / 文書作成支援 / 音声強調 / 雑音抑圧 / 倍音復元 / マルチモーダル
Outline of Final Research Achievements

Upper limb disabled person is challenging to operate general keyboard and cell phone devices, and it requires a large amount of labor to create long documents such as emails and reports. To solve these problems, in this research, I developed a document writing support application with hands-free speech recognition and gaze detection system. By combining speech recognition and gaze detection, the developed system could complete the presented text with only voice and gaze without using both hands.

Academic Significance and Societal Importance of the Research Achievements

本研究では上肢不自由者に対するテキスト作成支援の基礎を築くことができた.本研究を更に発展させることで,上肢不自由者が健常者と同じように文書やメールの作成を行うことができるようになり,上肢不自由者や介護者のストレスの低減にも繋がることを確信している.また,本研究を発展させることで文書やメールだけでなく両手を使うこと無くプログラミングを作成することも期待できる.

Report

(4 results)
  • 2018 Annual Research Report   Final Research Report ( PDF )
  • 2017 Research-status Report
  • 2016 Research-status Report
  • Research Products

    (21 results)

All 2018 2017 2016

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (20 results) (of which Int'l Joint Research: 6 results,  Invited: 3 results)

  • [Journal Article] 音声認識及び視線検出を用いたテキスト作成アプリケーションの開発2018

    • Author(s)
      宮崎亮一,五十嵐辰哉
    • Journal Title

      地域ケアリング

      Volume: 20

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Presentation] Speech Statistics Estimation for Speech Quality Evaluation in Noisy Environment2018

    • Author(s)
      Ryoichi Miyazaki
    • Organizer
      2018 International Symposium on Intelligent Signal Processing and Communication Systems
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] Generative Approach using the Noise Generation Models for DNN-based Speech Synthesis Trained from Noisy Speech2018

    • Author(s)
      Masakazu Une, Yuki Saito, Shinnosuke Takamichi, Daichi Kitamura, Ryoichi Miyazaki, Hiroshi Saruwatari
    • Organizer
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference 2018
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] Musical-Noise-Free Speech Enhancement with Low Speech Distortion by Biased Harmonic Regeneration Technique2018

    • Author(s)
      Masakazu Une, Ryoichi Miyazaki
    • Organizer
      International Workshop on Acoustic Signal Enhancement
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] バイアス付き倍音復元技術における内部パラメータと音質の関係性の調査2018

    • Author(s)
      宇根昌和,宮崎亮一
    • Organizer
      応用音響研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 入力SNRを考慮した音声存在確率に基づく単一チャネル雑音スペクトル推定2018

    • Author(s)
      河中昌樹,宇根昌和,宮崎亮一
    • Organizer
      日本音響学会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 雑音の過小推定を防ぐ高精度な雑音推定に関する研究2018

    • Author(s)
      河中昌樹,宇根昌和,宮崎亮一
    • Organizer
      第21回日本音響学会関西支部若手研究者交流研究発表会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Estimation of beta-order MMSE-STSA parameter set for maximizing speech recognition performance with multiple regression analysis2018

    • Author(s)
      Shintaro Kubo, Ryoichi Miyazaki
    • Organizer
      2018 RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing (NCSP18)
    • Related Report
      2017 Research-status Report
    • Int'l Joint Research
  • [Presentation] Evaluation of Sound Quality and Speech Recognition Performance using Harmonic Regeneration for Various Noise Reduction Techniques2017

    • Author(s)
      Masakazu Une, Ryoichi Miyazaki
    • Organizer
      2017 RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing (NCSP17)
    • Place of Presentation
      タモン(グアム)
    • Year and Date
      2017-02-28
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] アレー信号処理による音声認識及び視線検出を用いたテキスト作成アプリケーションの開発2017

    • Author(s)
      五十嵐辰哉,宮崎亮一
    • Organizer
      第94回福祉情報工学研究会
    • Related Report
      2017 Research-status Report
  • [Presentation] 倍音復元技術に基づくバイアス付き事前SNR推定を導入したミュージカルノイズフリーMMSE-STSA法の音質改善に関する研究2017

    • Author(s)
      宇根昌和,宮崎亮一
    • Organizer
      音学シンポジウム2017(第115回 音楽情報科学研究会)
    • Related Report
      2017 Research-status Report
  • [Presentation] 一般化ガウス分布仮定に基づく音声カートシス推定法の評価2017

    • Author(s)
      垣元宏太,宮崎亮一
    • Organizer
      第19回IEEE広島支部学生シンポジウム
    • Related Report
      2017 Research-status Report
  • [Presentation] 音声認識と視線情報を用いたテキスト作成アプリケーションの開発2017

    • Author(s)
      五十嵐辰哉,宮崎亮一
    • Organizer
      日本音響学会九州支部第12回学生のための研究発表会
    • Related Report
      2017 Research-status Report
  • [Presentation] 音声認識性能を最大と雑音抑圧の内部パラメータ推定に関する研究2017

    • Author(s)
      宮﨑亮一,久保真太郎
    • Organizer
      IEEE CEソサイエティ西日本合同チャプタ主催1月研究会
    • Place of Presentation
      海峡メッセ下関(山口県・下関市)
    • Related Report
      2016 Research-status Report
    • Invited
  • [Presentation] 様々な雑音抑圧手法における倍音復元による音声の品質評価に関する研究2016

    • Author(s)
      宇根昌和,宮﨑亮一
    • Organizer
      第18回 IEEE Hiroshima Student Symposium
    • Place of Presentation
      山口大学常盤キャンパス(山口県・宇部市)
    • Year and Date
      2016-11-19
    • Related Report
      2016 Research-status Report
  • [Presentation] Estimation of Spectral Subtraction Parameter-Set for Maximizing Speech Recognition Performance2016

    • Author(s)
      Shintaro Kubo, Ryoichi Miyazaki
    • Organizer
      5th IEEE Global Conference on Consumer Electronics (GCCE2016)
    • Place of Presentation
      メルパルク京都(京都府・京都市)
    • Year and Date
      2016-10-11
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] 音声認識性能を最大とするスペクトル減算法のパラメータ推定2016

    • Author(s)
      久保真太郎,宮﨑亮一
    • Organizer
      電子情報通信学会ソサイエティ大会
    • Place of Presentation
      北海道大学(北海道・札幌市)
    • Year and Date
      2016-09-20
    • Related Report
      2016 Research-status Report
  • [Presentation] 一般化ガウス分布仮定における音声統計量の推定精度に関する評価2016

    • Author(s)
      垣元宏太,宮﨑亮一
    • Organizer
      第19回日本音響学会関西支部若手研究者交流研究発表会
    • Place of Presentation
      関西大学100周年記念会館(大阪府・吹田市)
    • Related Report
      2016 Research-status Report
  • [Presentation] 音声認識性能を最大とする beta-order MMSE-STSA 法のパラメータ推定2016

    • Author(s)
      久保真太郎,宮﨑亮一
    • Organizer
      第19回日本音響学会関西支部若手研究者交流研究発表会
    • Place of Presentation
      関西大学100周年記念会館(大阪府・吹田市)
    • Related Report
      2016 Research-status Report
  • [Presentation] 倍音復元技術を用いたリアルタイム雑音抑圧に関する研究2016

    • Author(s)
      長尾恭太,宮﨑亮一
    • Organizer
      第19回日本音響学会関西支部若手研究者交流研究発表会
    • Place of Presentation
      関西大学100周年記念会館(大阪府・吹田市)
    • Related Report
      2016 Research-status Report
  • [Presentation] 様々な雑音抑圧手法における倍音復元による音声認識性能に関する研究2016

    • Author(s)
      宇根昌和,宮﨑亮一
    • Organizer
      第19回日本音響学会関西支部若手研究者交流研究発表会
    • Place of Presentation
      関西大学100周年記念会館(大阪府・吹田市)
    • Related Report
      2016 Research-status Report

URL: 

Published: 2016-04-21   Modified: 2020-03-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi