2018 Fiscal Year Research-status Report
環境音の可視化による聴覚障害者支援ーマンガ表現を用いた臨場感フォントによる支援ー
| Project/Area Number |
17K01102
|
|---|
| Research Institution | Kinjo College |
|---|
Principal Investigator |
新井 浩 金城大学短期大学部, 美術学科, 准教授 (30331557)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 障害学生支援 / 環境音 / 臨場感フォント / 漫符 / オノマトペ |
|---|
| Outline of Annual Research Achievements |
聴覚障害者は大きく分けて2つの困難を抱えている。一つ目は必要としている情報が十分に得られないこと、もう一つは誤解や認識不足などのコミュニケーションに関するストレスである。平成18年度の調査で分かっている日本の聴覚障害者数は34万3000人であり、およそ1000人に3人が聴覚障害者である。にもかかわらず周囲の細やかな気づきが十分とは言えず、いまだ十分な支援があるとは言えない状況である。我々はこれまで、音声認識エンジン「Julius」を活用し、話し手の熱意や教室のざわめきなどを視覚化するシステムに取り組んできた。本研究では、聴覚障害学生が必要とする音情報に感覚的な要素を付加し、環境音の可視化に取り組む。中でも、聴覚障害者には気付くことが難しいとされる視野外の危険音に意識が向く危険音可視化システムを開発する。本研究の目的は、聴覚障害者が視覚野の危険や注意を環境を表現するフォントを通して感じることにより、社会生活の安全を確保し、聴覚障害者の心理的負担を改善することである。
平成30年度は数多くある環境音の中から、聴覚障害者が危険にさらされる危険音の絞り込みを行い、危険音・環境音に関する収集・分析を行った。また危険音を知らせるインターフェースに使用するための臨場感フォントを作成し、その使用ルールの検討を行った。音量は、フォントサイズ、ディスプレイ上の動きの速さ、フォントスタイルのトーン、およびディスプレイ上の位置の方向に反映される。これらの投影するためのHMD（ヘッドマウントディスプレイ）やARディスプレイの機種検討も行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
研究者チームである我々の専門外である音の解析が、当初の目論見をはずれ思いのほか前進していない。シンプルな機器を使っての測定ということもあり、風きり音を始めとする複雑な自然音の分析が難航している。30年度からそれまで使用していたロボット聴覚ソフトウェアHARKをクラウドサービスとして実装したHARKSaaS(SoftwareasaService)を新しく解析に用いることにした。これは従来のHARKで必須であったローカル計算機へのインストール作業や、高負荷の信号処理が実行できる高い性能要求が不要となるとの理由からである。今後の音解析を扱う研究が円滑にすすむことを期待するが、新しい環境へ移行したことでの難しさもあり、関連論文や書籍、インターネットから情報収集を行い、試行錯誤を繰り返しながらすすめている。
平成29年度まですすめていた危険音を認識するための3要素でありおおまかに目処がついている音源方向の推定については、危険音の種類や距離など、録音条件を変え収集した音で数回にわたり検証を行い一定の精度がでていることが確認できている。また音データの解析に関して、実際の使用を想定する中で不要と思われる詳細なデータを排除し、危険音の定義を限定的なものに見直した。これらの再定義により、音源の特定や音量による音源からの距離をはかるの精度について遅れている問題が前進するであろうと考えている。これらの結果については2件の学会発表（海外、国内を各一回）と2件の論文投稿を行った。
|
| Strategy for Future Research Activity |
令和元年度は、環境音取得と解析で納得できる結果が出ていないプレシステムの調整と、臨場感フォントの表示方法を最終決定し、引き続き臨場感プレシステムの構築をすすめる。当初想定してた幅広い危険音の解析が難航しているため、新しく解析に用いることにしたHARK Saanの活用についてより理解を深め、データ解析に活かす。最終年である、今年度はこれまでの研究成果をまとめ、最終的なインターフェースとなる臨場感フォトの出力に反映しHMDで確認できるようまとめあげる。
残念ながら、根本的な音解析で時間を大幅に使ってしまったが、解析するデータを再定義し簡略化したことで遅れを取り戻す予定である。まず詳細な調整は最終段階にするとして、まずシステムとしての構築を最優先に進める。また、これまでプレシステムの精度や進み具合が遅れていることから、協力してもらえる聴覚障害者のアドバイスをとれずにいる。現段階では健常者に耳栓を装着した聴覚障害状況をつくり検証をしている。最終年は実験に協力してもらえる聴覚障害者の声をフィードバックを行う予定である。これらの成果について海外発表1回、国内発表1回を予定している。
|
| Causes of Carryover |
平成30年度は研究の遅れもあり、当初予定していた国内発表を一見キャンセルした。また、購入予定であったHMDの発売が遅れており、より新しいものを購入するため見送っていた。これら未購入であった物品の購入にあてる。令和元年度は国内発表、並びに情報収集のための学会参加を積極的に行い、それらの旅費として使用する。
|
