Rhythm information sharing system between visually and hearing impaired people by sound, light and vibration

2020 Fiscal Year Research-status Report

• Project/Area Number: 20K03173
• Research Institution: Tsukuba University of Technology
• Principal Investigator: 皆川 洋喜 筑波技術大学, 産業技術学部, 教授 (00273285)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 視覚障害 / 聴覚障害 / 障害特性 / 音楽 / コミュニケーション

Outline of Annual Research Achievements

2020年度は、リズム情報共有システムの基本システムとして、加速度センサと振動モータによる個人用小型端末の試作を行った。小型端末は、シングルボードコンピュータ、加速度センサ、振動モータにより構成される。試作した２台の小型端末はケーブルで接続され、相互にリズム情報を交換できる。ユーザＡ用の小型端末Ａ（加速度センサＡ、振動モータＡ）とユーザＢ用の小型端末Ｂ（加速度センサＢ、振動モータＢ）を用いて、次のようにリズム情報を共有できる。ユーザＡの腕には加速度センサＡと振動モータＡが、ユーザＢの腕には加速度センサＢと振動モータＢが、それぞれ取り付けられている。ユーザＡが腕の動きで表現したリズム情報が加速度センサＡより小型端末Ａに入力され、小型端末Ｂを介して振動モータＢの振動として出力され、ユーザＢの腕に伝えられる。同様に、ユーザＢの腕の動きは、加速度センサＢ－振動モータＡを介してユーザＡの腕に伝えれられる。
この、振動によるリズム情報の共有は、視覚に障害がある人と聴覚に障害がある人との間での共通の情報共有メディアとして用いる。今後は、音（ブザー）および光（ＬＥＤ）によるリズム情報提示機能も付加し、それぞれの障害の特性を活かしたより幅広い情報共有の方法について、評価実験により検討を行う計画である。
現在の試作システムは、２台のみの小型端末で構成されているが、複数の小型端末を無線で接続し、障害特性の異なる複数のユーザ間でのリズム情報の共有方法についても検討を行う計画である。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

新型コロナの影響により、オンライン授業に対応した授業の準備等にかかるエフォート率が増加し、十分に研究時間を確保することが困難であった。
また、本学の視覚・聴覚に障害がある学生たちの協力を得てシステムの評価を行い、研究を進めていく予定であったが、新型コロナの影響により実現することができなかった。

Strategy for Future Research Activity

(1) 2020年度に開発した試作システムを用いて、１対１での振動によるリズム共有に関する評価実験を行う（視覚障害者と聴覚障害者、視覚障害者同士、聴覚障害者同士）。
(2) (1)のシステムに、音（ブザー）と光（ＬＥＤ）の情報を付加したシステムを開発し、評価実験を行う。
(3) 複数の小型端末を無線接続して利用できるシステムを開発し、多様な障害特性のある複数のユーザに対する評価実験を行う。

Causes of Carryover

新型コロナの影響により、予定していた評価実験および学会発表ができなかったため。本学学生を対象とした評価実験および学会発表（オンライン開催予定）の費用に充てる計画である。