2020 Fiscal Year Annual Research Report
盲ろう者の歌唱支援のための触覚フィードバック音声ピッチ制御システムの教育への応用
| Project/Area Number |
18H01047
|
|---|
| Research Institution | Tsukuba University of Technology |
|---|
Principal Investigator |
坂尻 正次 筑波技術大学, 保健科学部, 教授 (70412963)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大西 淳児 筑波技術大学, 保健科学部, 教授 (30396238)
藪 謙一郎 東京大学, 先端科学技術研究センター, 特任研究員 (50626215)
三浦 貴大 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究員 (80637075)
安 啓一 筑波技術大学, 産業技術学部, 講師 (70407352)
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Keywords | 盲ろう / 歌唱 / 触覚フィードバック / 視覚障害 / 聴覚障害 / 触覚ディスプレイ |
|---|
| Outline of Annual Research Achievements |
本研究課題では自分の声の高さを知覚できない盲ろう者の歌唱を支援するために触覚フィードバックにより音声ピッチを制御するシステムを開発し、それを教育へ応用することを目的として研究を進めている。
本研究課題で開発した4列×16行の触覚ディスプレイは、左側2列を盲ろう等ユーザーの目標音高を提示するために、右側2列を盲ろう等ユーザーの発声した音高を提示するために使用しているが、その歌唱支援システムのMIDI機能について評価をおこなった。従来は、歌唱訓練の際の目標音高の設定は訓練者がおこない、訓練途中での変更はできなかったが、本MIDI機能により、訓練途中に訓練者のみならずユーザーである盲ろう者・聴覚障害の当事者もMIDIキーボードを用いてリアルタイムに目標音高を変更できる機能である。本機能の操作性・機能性等の評価をおこなった結果、MIDIキーボードのキー押下位置の変化に対して音声ピッチ抽出の時間的遅れが生じるために、目標音高の変化に追随してユーザー自身の音高を時間遅れなく適切に調整することが難しくなるという解決すべき課題が得られた。
また、本歌唱支援システムを教育の場へ応用していくために盲ろう者の情報保障等のコミュニケーション支援の実践にも取り組み、知見を蓄積している。具体的には、2020年度初頭の新型コロナの感染拡大にともない、その対策のために実施した本学でのオンライン授業において、盲ろう学生向けに開発した要約筆記点字出力システムを本学の盲ろう学生のオンライン授業において実践的に利用し、実践のノウハウを蓄積するとともに、そのノウハウを本学で勤務する盲ろうの事務職員の就労支援にも活用した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
新型コロナの流行に伴う感染防止措置のために、当初計画していた通りの評価実験をおこなうことができず、必要最低限の評価実験しかおこなうことができなかったために「やや遅れている。」と達成度を評価した。
|
| Strategy for Future Research Activity |
今後は、歌唱支援システムのMIDI機能におけるキー押下の変化に対するユーザー音高提示の時間遅れに対する改良を施す。また、新型コロナの流行に伴う感染防止措置のために十分に実施することができなかった評価実験をおこない、知見を蓄積する。さらに、本歌唱支援システムを教育の場へ応用していくために盲ろう者の情報保障等のコミュニケーション支援の実践に関するノウハウや知見を蓄積していく。以上により、本システムを用いた訓練・教育方法の策定に向けた素案を作成する。
|
