• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

盲ろう者の歌唱支援のための触覚フィードバック音声ピッチ制御システムの教育への応用

Research Project

Project/Area Number 18H01047
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 09070:Educational technology-related
Research InstitutionTsukuba University of Technology

Principal Investigator

坂尻 正次  筑波技術大学, 保健科学部, 教授 (70412963)

Co-Investigator(Kenkyū-buntansha) 大西 淳児  筑波技術大学, 保健科学部, 教授 (30396238)
藪 謙一郎  東京大学, 先端科学技術研究センター, 特任研究員 (50626215)
安 啓一  筑波技術大学, 産業技術学部, 講師 (70407352)
三浦 貴大  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (80637075)
中田 一紀  筑波技術大学, 保健科学部, 助教 (40404107)
Project Period (FY) 2018-04-01 – 2023-03-31
Project Status Granted (Fiscal Year 2022)
Budget Amount *help
¥17,030,000 (Direct Cost: ¥13,100,000、Indirect Cost: ¥3,930,000)
Fiscal Year 2022: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
Fiscal Year 2021: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
Fiscal Year 2020: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2019: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2018: ¥6,110,000 (Direct Cost: ¥4,700,000、Indirect Cost: ¥1,410,000)
Keywords盲ろう / 歌唱 / 触覚フィードバック / 視覚障害 / 聴覚障害 / 触覚ディスプレイ / 固有感覚フィードバック / 音声ピッチ
Outline of Annual Research Achievements

本研究課題では自分の声の高さを知覚できない盲ろう者の歌唱を支援するために触覚フィードバックにより音声ピッチを制御するシステムを開発し、それを教育へ応用することを目的として研究を進めている。
本研究課題で開発した4列×16行の触覚ディスプレイは、左側2列を盲ろう等ユーザーの目標音高を提示するために、右側2列を盲ろう等ユーザーの発声した音高を提示するために使用し、それを歌唱支援システムとして構築し、その改良をおこなってきた。今年度は、これまでの研究の過程において音声ピッチ抽出機能の強化、ログ出力・音声ピッチの表示等の必要性が示されたので、これらに対応するために本システムに次に示す(1)から(4)の機能を追加する改良を施した。(1)音声ピッチ抽出プログラムの応答性・正確性の向上、(2)遅延なく高速に応答するための音声入力インタフェースへの対応、(3)ログ出力プログラムにおける経過時間及び分析ピッチの追加、(4)ピッチのアナログ表示のためのGUIプログラム。
以上の結果から、音声ピッチ抽出機能が改選されることにより、これまでより正確なピッチ周波数を記録することが可能となった。また、ログ出力・音声ピッチの表示が改善されたことによりユーザーのユーザビリティが向上した。
また、聴覚障害者の歌唱時の音声ピッチの可視化訓練システムについての研究にも取り組み、画面表示による視覚フィードバックを用いた方式による研究データを蓄積することができた。今後は触覚フィードバックによる音声ピッチ制御と視覚フィードバックによるそれとの比較もおこなっていく予定である。

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

新型コロナの流行に伴う感染防止措置のために、当初計画していた通りの評価実験をおこなうことができず、必要最低限の評価実験しかおこなうことができなかったために「やや遅れている。」と達成度を評価した。

Strategy for Future Research Activity

今後は、本学に在籍する盲ろう学生等を対象として開発したシステムの評価をおこなう。評価にあたっては、本システムの操作性、触覚フィードバックによる音声ピッチ制御の正確性について、聴力の程度や聴覚経験等の個々の障害特性を考慮しながら評価を実施する。システムの操作性に関する評価結果については、必要に応じてシステムに改良を施し、本システムを完成させる。音声ピッチ制御の正確性に関する評価結果については、それに基づき個々の盲ろう障害等の特性に応じた歌唱訓練のための訓練・教育方法の指針を策定する。

Report

(4 results)
  • 2021 Annual Research Report
  • 2020 Annual Research Report
  • 2019 Annual Research Report
  • 2018 Annual Research Report

Research Products

(36 results)

All 2022 2021 2020 2019 2018

All Journal Article (11 results) (of which Peer Reviewed: 11 results,  Open Access: 3 results) Presentation (25 results) (of which Int'l Joint Research: 2 results,  Invited: 1 results)

  • [Journal Article] Inclusive Action Game Presenting Real-time Multimodal Presentations for Sighted and Blind Persons2021

    • Author(s)
      asaki Matsuo, Takahiro Miura, Ken-ichiro Yabu, Atsushi Katagiri, Masatsugu Sakajiri, Junji Onishi, Takeshi Kurata, Tohru Ifukube
    • Journal Title

      Proceedings of the 2021 International Conference on Multimodal Interaction

      Volume: - Pages: 62-70

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Awareness of Recurrent Education on Visually Impaired Workers: A Questionnaire Survey About Their Working Conditions and Lifelong Learning Courses2021

    • Author(s)
      Takahiro Miura, Yuya Otsuka, Yuri Idesawa, Masatsugu Sakajiri, Junji Onishi
    • Journal Title

      Journal on Technology & Persons with Disabilities

      Volume: 9 Pages: 85-109

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] GAME: Game As a Measurement Environment: Scheme to Evaluate Interfaces and Game Contents Based on Test Theories2020

    • Author(s)
      Miura Takahiro, Matsuo Masaki, Yabu Ken-ichiro, Katagiri Atsushi, Sakajiri Masatsugu, Onishi Junji, Kurata Takeshi, Ifukube Tohru
    • Journal Title

      Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies

      Volume: 4 Pages: 1-30

    • DOI

      10.1145/3432702

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Effective Scheme to Control Multiple Application Windows for Screen Reader Users with Blindness2020

    • Author(s)
      Idesawa Yuri、Miura Takahiro、Sakajiri Masatsugu、Onishi Junji
    • Journal Title

      IEEE Transactions on Systems, Man, and Cybernetics: Systems 2020

      Volume: 1 Pages: 2674-2679

    • DOI

      10.1109/smc42975.2020.9283045

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Online Communication Assistant System for Deafblind Person2020

    • Author(s)
      Junji Onishi, Takahiro Miura, Takeshi Okamoto, Masaki Matsuo, Masatsugu Sakajiri
    • Journal Title

      ICCHP open access compendium "Future Perspectives of AT, eAccessibility and eInclusion"

      Volume: - Pages: 171-175

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Improving Web Browsing Experience Using a Screen Reader for Visually Impaired Persons2020

    • Author(s)
      Takahiro Miura, Yuya Otsuka, Masaki Matsuo, Masatsugu Sakajiri, Takeshi Okamoto, Junji Onishi
    • Journal Title

      ICCHP open access compendium "Future Perspectives of AT, eAccessibility and eInclusion"

      Volume: - Pages: 23-27

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Reality Varied by Visions: Requirements of Immersive Virtual Reality Content for Users with Low-Vision2020

    • Author(s)
      Takahiro Miura, Toshiki Izumi, Masaki Matsuo, Masatsugu Sakajiri, Takeshi Okamoto, Junji Onishi
    • Journal Title

      Journal on Technology & Persons with Disabilities

      Volume: 8 Pages: 170-195

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Development of a Three-Dimensional Magnifying Visual Information Display System to Support the Daily Activities of the Visually Impaired2019

    • Author(s)
      Tanaka Toshiaki、Kato Norio、Miyasaka Tomoya、Sakajiri Masatsugu
    • Journal Title

      International Journal of New Technology and Research

      Volume: 5 Pages: 32-35

    • DOI

      10.31871/ijntr.5.11.18

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] An Interactive Musical Scale Presentation System via Tactile Sense Through Haptic Actuator2018

    • Author(s)
      K. Nakada, J. Onishi, M. Sakajiri
    • Journal Title

      2018 IEEE International Symposium on Haptic, Audio and Visual Environments and Games, HAVE 2018

      Volume: 1 Pages: 1-4

    • DOI

      10.1109/have.2018.8548061

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Journal Article] AcouSTTic: A training application of aural sense on sound table tennis (STT)2018

    • Author(s)
      Takahiro Miura, Masaya Fujito, Masaki Matsuo, Masatsugu Sakajiri, Junji Onishi, Tsukasa Ono
    • Journal Title

      Computers Helping People with Special Needs - 16th International Conference, ICCHP 2018

      Volume: 10897 Pages: 3-11

    • DOI

      10.1007/978-3-319-94274-2_1

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Virtual Museum for People with Low Vision: Comparison of the Experience on Flat and Head-Mounted Displays2018

    • Author(s)
      Takahiro Miura, Gentaro Ando, Junji Onishi, Masaki Matsuo, Masatsugu Sakajiri, Tsukasa Ono
    • Journal Title

      Computers Helping People with Special Needs - 16th International Conference, ICCHP 2018

      Volume: 10897 Pages: 246-249

    • DOI

      10.1007/978-3-319-94274-2_34

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Presentation] 聴覚障害者に向けた歌唱時のピッチの可視化訓練システムの提案2022

    • Author(s)
      永田 優志 , 安 啓一 , 平賀 瑠美
    • Organizer
      日本音響学会聴覚研究会資料 52 (1)
    • Related Report
      2021 Annual Research Report
  • [Presentation] 視覚的な二次元コンテンツの理解を促進する音触マッピングツールの開発 ~視覚障害者の行列・分数の学習支援を例にして~2022

    • Author(s)
      松尾 政輝, 出澤 由利, 田中 仁, 坂尻 正次, 大西 淳児, 蔵田 武志, 三浦 貴大
    • Organizer
      情報処理学会 第18回アクセシビリティ研究会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 日時調整におけるアクセシビリティ上の課題調査と解決策の提案2022

    • Author(s)
      渡邉 大貴, 三浦 貴大, 坂尻 正次, 大西 淳児
    • Organizer
      第31回ライフサポート学会フロンティア講演会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 重度障害者の視線入力によるライブ演奏を目指した音楽インタフェースアプリの開発2021

    • Author(s)
      藪 謙一郎,伊福部 達
    • Organizer
      日本音響学会2021年秋季講演論文集
    • Related Report
      2021 Annual Research Report
  • [Presentation] インクルーシブな開発体制によるアクセシブルアクションRPGの開発 ~視覚障害者・晴眼者の共同作業に着目して~2021

    • Author(s)
      松尾 政輝, 三浦 貴大, 藪 謙一郎, 片桐 淳, 坂尻 正次, 大西 淳児, 蔵田 武志, 伊福部 達
    • Organizer
      HCGシンポジウム2021
    • Related Report
      2021 Annual Research Report
  • [Presentation] 全盲者の音響VR環境の特性について2021

    • Author(s)
      大西 淳児, エルデネサンブー デルゲルバヤル, 三浦 貴大, 坂尻 正次
    • Organizer
      電気学会 計測/知覚情報 合同研究会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 音バリアフリーの観点から視覚障害・聴覚障害者のオンライン会議ツールの利用状況を考察する2021

    • Author(s)
      坂尻正次
    • Organizer
      日本音響学会2021年春季研究発表会
    • Related Report
      2020 Annual Research Report
    • Invited
  • [Presentation] 視覚障害によらず画面操作・設計を行うための触覚/力覚誘導提示方式の開発・評価2021

    • Author(s)
      片山博貴,三浦貴大,坂尻正次,大西淳児
    • Organizer
      第30回ライフサポート学会学術フロンティア講演会予稿集
    • Related Report
      2020 Annual Research Report
  • [Presentation] 読み書き困難児に対する触覚・力覚誘導提示装置による漢字指導の効果2020

    • Author(s)
      原田 浩司 , 坂井 忠裕 , 齋藤 恵美子 , 坂尻 正次 , 大西 淳児 , 清水 俊宏
    • Organizer
      日本LD学会 第29回大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] Hold-through: Run-through of the holds on the bouldering wall through haptic/tactile guides for blind climbers2019

    • Author(s)
      Takahiro Miura, Sho Aita, Tadahiro Sakai, Toshihiro Shimizu, Takuya Handa, Masatsugu Sakajiri, Junji Onishi
    • Organizer
      Proceedings of the 2019 IEEE World Haptics Conference
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Tactile display modules utilizing multilayer-bimorph piezoelectric vibrators -Their applications in tactile game controllers (TactCon)-2019

    • Author(s)
      Takahiro Miura, Atsushi Katagiri, Ken-ichiro Yabu, Masaki Matsuo, Masatsugu Sakajiri, Tohru Ifukube
    • Organizer
      Proceedings of the 2019 IEEE World Haptics Conference
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] リアルタイム多感覚提示を行うインクルーシブアクションゲーム:触覚提示付きゲームコントローラ(TactCon)を導入したゲームの開発と利用時の評価2019

    • Author(s)
      松尾 政輝, 三浦 貴大, 藪 謙一郎, 片桐 淳, 坂尻 正次, 大西 淳児, 蔵田 武志, 伊福部 達
    • Organizer
      情報処理学会 アクセシビリティ研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] スクリーンリーダー使用者の作業効率阻害要因の実験的分析2019

    • Author(s)
      出澤 由利, 三浦 貴大, 坂尻 正次, 大西 淳児
    • Organizer
      電気学会知覚情報研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 盲ろう者の障害特性と歌唱支援のための触覚フィードバックによる音声ピッチ制御2019

    • Author(s)
      坂尻 正次, 中田 一紀, 大西 淳児, 三浦 貴大, 伊福部 達
    • Organizer
      電気学会知覚情報研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 視覚障害者のためのマッピングツール開発 : ゲーム環境から実環境への拡張2019

    • Author(s)
      松尾 政輝, 三浦 貴大, 坂尻 正次, 大西 淳児, 一刈 良介, 蔵田 武志
    • Organizer
      電気学会知覚情報研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 盲ろう者とのコミュニケーションのためのリモート点字出力システムについて2019

    • Author(s)
      大西 淳児, 三浦 貴大, 岡本 健, 松尾 政輝, 坂尻 正次
    • Organizer
      電気学会知覚情報研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] ブラインドサッカー競技中の発生音における音響分析2019

    • Author(s)
      石田卓也, 三浦貴大, 久保典央, 牧野康一, 坂尻正次, 福永克己, 上田麻理
    • Organizer
      日本音響学会2019年春季研究発表会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 弱視者におけるHMD装着時の全天球映像の把握特性について2019

    • Author(s)
      大西 淳児, 泉 隼樹, 三浦 貴大, 松尾 政輝, 岡本 健, 坂尻 正次
    • Organizer
      電気学会知覚情報研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 誘導型文字提示方式によるかな文字認知の評価 : 点字の読めない盲ろう者への効果的な文字提示と情報支援を目指して2019

    • Author(s)
      坂井 忠裕, 坂尻 正次, 半田 拓也, 清水 俊宏, 大西 淳児
    • Organizer
      電子情報通信学会福祉情報工学研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 音響VR技術を用いた視覚障害者スポーツの聴覚訓練支援:ゴールボールとサウンドテーブルテニスを例にして2018

    • Author(s)
      三浦貴大, 曽我晋平, 藤戸雅也, 松尾政輝, 坂尻正次, 大西淳児, 小野束
    • Organizer
      第44回感覚代行シンポジウム
    • Related Report
      2018 Annual Research Report
  • [Presentation] 授業環境における盲ろう学生への要約点字出力制御について2018

    • Author(s)
      大西淳児, 中田一紀, 三浦貴大, 坂尻正次
    • Organizer
      知能メカトロニクスワークショップ
    • Related Report
      2018 Annual Research Report
  • [Presentation] ゴールボールにおける方向を誤認しやすい投球音の分析2018

    • Author(s)
      三浦貴大, 坂尻正次, 大西淳児, 曽我晋平, 松尾政輝, 小野束
    • Organizer
      日本音響学会研究発表会
    • Related Report
      2018 Annual Research Report
  • [Presentation] ハプティックアクチュエータを利用した対話型音階呈示システム2018

    • Author(s)
      中田一紀, 大西淳児, 坂尻正次
    • Organizer
      ヒューマンインタフェースシンポジウム
    • Related Report
      2018 Annual Research Report
  • [Presentation] スクリーンリーダーを使用した多重並行作業時の負荷を軽減する操作支援システムの提案2018

    • Author(s)
      出澤 由利, 三浦 貴大, 中田 一紀, 岡本 健, 大西 淳児, 坂尻 正次
    • Organizer
      電気学会知覚情報研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 視覚障がい者のための多目的な触覚/力覚誘導情報提示システム2018

    • Author(s)
      坂井忠裕, 坂尻正次, 半田拓也, 清水俊宏, 大西淳児, 緒方昭広
    • Organizer
      映像情報メディア学会冬季大会
    • Related Report
      2018 Annual Research Report

URL: 

Published: 2018-04-23   Modified: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi