音・光・振動による視覚・聴覚障害者間のリズム情報共有システム

• 研究課題/領域番号: 20K03173
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 審査区分: 小区分09070:教育工学関連
• 研究機関: 筑波技術大学
• 研究代表者: 皆川 洋喜 筑波技術大学, 産業技術学部, 教授 (00273285)
• 研究期間 (年度): 2020-04-01 – 2024-03-31
• 研究課題ステータス: 交付 (2022年度)
• 配分額: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円); 2022年度: 520千円 (直接経費: 400千円、間接経費: 120千円); 2021年度: 780千円 (直接経費: 600千円、間接経費: 180千円); 2020年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
• キーワード: 視覚障害 / 聴覚障害 / 障害特性 / 音楽 / コミュニケーション

研究開始時の研究の概要

視覚に障害がある人と聴覚に障害がある人とが、音・光・振動を介してリズム情報を共有し、共にリズムを楽しむことができるシステムを実現する。まず、加速度センサを手や足に装着し、その動きをリズム情報として読み取る。リズム情報は、同じく手や足に取り付けられた振動モータにより、振動として他者に伝えられる。さらに、視覚に障害がある人には音の情報も、聴覚に障害がある人には光の情報も付加し、残存する感覚も活用してリズムを楽しむことができるようにする。

研究実績の概要

リズム情報共有システムの基本システムとして、加速度センサと振動モータによる個人用小型端末の試作を行った。小型端末は、シングルボードコンピュータ、加速度センサ、振動モータにより構成される。試作した２台の小型端末はケーブルで接続され、相互にリズム情報を交換できる。ユーザＡ用の小型端末Ａ（加速度センサＡ、振動モータＡ）とユーザＢ用の小型端末Ｂ（加速度センサＢ、振動モータＢ）を用いて、次のようにリズム情報を共有できる。ユーザＡの腕には加速度センサＡと振動モータＡが、ユーザＢの腕には加速度センサＢと振動モータＢが、それぞれ取り付けられている。ユーザＡが腕の動きで表現したリズム情報が加速度センサＡより小型端末Ａに入力され、小型端末Ｂを介して振動モータＢの振動として出力され、ユーザＢの腕に伝えられる。同様に、ユーザＢの腕の動きは、加速度センサＢ－振動モータＡを介してユーザＡの腕に伝えれられる。
この、振動によるリズム情報の共有は、視覚に障害がある人と聴覚に障害がある人との間での共通の情報共有メディアとして用いる。今後は、音（ブザー）および光（ＬＥＤ）によるリズム情報提示機能も付加し、それぞれの障害の特性を活かしたより幅広い情報共有の方法について、評価実験により検討を行う。
現在の試作システムは、２台のみの小型端末で構成されているが、複数の小型端末を無線で接続し、障害特性の異なる複数のユーザ間でのリズム情報の共有方法についても検討を行う。

現在までの達成度 (区分)

4: 遅れている

理由

本学の視覚・聴覚に障害がある学生たちの協力を得てシステムの評価を行い、研究を進めていく予定であったが、新型コロナの影響により実現することができなかった。

今後の研究の推進方策

(1) １対１でのリズム共有に関する評価実験を行う（視覚障害者と聴覚障害者、視覚障害者同士、聴覚障害者同士）。
(2) 複数の小型端末を無線接続して利用できるシステムを開発し、多様な障害特性のある複数のユーザに対する評価実験を行う。