2021 Fiscal Year Annual Research Report
盲ろう者の歌唱支援のための触覚フィードバック音声ピッチ制御システムの教育への応用
| Project/Area Number |
18H01047
|
|---|
| Research Institution | Tsukuba University of Technology |
|---|
Principal Investigator |
坂尻 正次 筑波技術大学, 保健科学部, 教授 (70412963)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大西 淳児 筑波技術大学, 保健科学部, 教授 (30396238)
藪 謙一郎 東京大学, 先端科学技術研究センター, 特任研究員 (50626215)
安 啓一 筑波技術大学, 産業技術学部, 講師 (70407352)
三浦 貴大 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (80637075)
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Keywords | 盲ろう / 歌唱 / 触覚フィードバック / 視覚障害 / 聴覚障害 |
|---|
| Outline of Annual Research Achievements |
本研究課題では自分の声の高さを知覚できない盲ろう者の歌唱を支援するために触覚フィードバックにより音声ピッチを制御するシステムを開発し、それを教育へ応用することを目的として研究を進めている。
本研究課題で開発した4列×16行の触覚ディスプレイは、左側2列を盲ろう等ユーザーの目標音高を提示するために、右側2列を盲ろう等ユーザーの発声した音高を提示するために使用し、それを歌唱支援システムとして構築し、その改良をおこなってきた。今年度は、これまでの研究の過程において音声ピッチ抽出機能の強化、ログ出力・音声ピッチの表示等の必要性が示されたので、これらに対応するために本システムに次に示す(1)から(4)の機能を追加する改良を施した。(1)音声ピッチ抽出プログラムの応答性・正確性の向上、(2)遅延なく高速に応答するための音声入力インタフェースへの対応、(3)ログ出力プログラムにおける経過時間及び分析ピッチの追加、(4)ピッチのアナログ表示のためのGUIプログラム。
以上の結果から、音声ピッチ抽出機能が改選されることにより、これまでより正確なピッチ周波数を記録することが可能となった。また、ログ出力・音声ピッチの表示が改善されたことによりユーザーのユーザビリティが向上した。
また、聴覚障害者の歌唱時の音声ピッチの可視化訓練システムについての研究にも取り組み、画面表示による視覚フィードバックを用いた方式による研究データを蓄積することができた。今後は触覚フィードバックによる音声ピッチ制御と視覚フィードバックによるそれとの比較もおこなっていく予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
新型コロナの流行に伴う感染防止措置のために、当初計画していた通りの評価実験をおこなうことができず、必要最低限の評価実験しかおこなうことができなかったために「やや遅れている。」と達成度を評価した。
|
| Strategy for Future Research Activity |
今後は、本学に在籍する盲ろう学生等を対象として開発したシステムの評価をおこなう。評価にあたっては、本システムの操作性、触覚フィードバックによる音声ピッチ制御の正確性について、聴力の程度や聴覚経験等の個々の障害特性を考慮しながら評価を実施する。システムの操作性に関する評価結果については、必要に応じてシステムに改良を施し、本システムを完成させる。音声ピッチ制御の正確性に関する評価結果については、それに基づき個々の盲ろう障害等の特性に応じた歌唱訓練のための訓練・教育方法の指針を策定する。
|
