2017 Fiscal Year Research-status Report
環境音の可視化による聴覚障害者支援ーマンガ表現を用いた臨場感フォントによる支援ー
| Project/Area Number |
17K01102
|
|---|
| Research Institution | Kinjo College |
|---|
Principal Investigator |
新井 浩 金城大学短期大学部, 美術学科, 准教授 (30331557)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 障害学生支援 / 環境音 / 臨場感フォント / 漫符 / オノマトペ |
|---|
| Outline of Annual Research Achievements |
聴覚障害は、一見してその不便さがわかりにくい障害である。そのため周囲の理解が十分に得られず、本人も周囲に不便さを隠して生活をしている場合が多い。また、周囲の状況を音で判断できないことは、日常生活の中で不自由を感じるだけでなく、危険な目にあうことも多い。我々は、危険や注意に関連する環境音（危険発生音と注意喚起音）を可視化する「臨場感フォント」を開発し、これらを用いて、聴覚障害学生が気づきにくい視野外の危険を検知し注意を喚起するシステムの構築に取り組んでいる。また、臨場感フォントを表示するインターフェースには、マンガ記号（漫符）やオノマトペ表現といったマンガ技法を用い、リアルタイムにそれらを表示するシステムの構築を目指している。
平成29年度は、改めて環境音認知や音源測定に関する論文収集を行い、危険発生音と注意喚起音の選定方針について検討した。当初、想定していた8つの環境音を「危険発生音」と「注意喚起音」に分類し、その代表例として金属の落下音と自動車のクラクションを用いて基礎実験を行った。音は発生源の方向情報を含めて収集するため、水平方向8カ所にマイクが配置されたマイクアレイを使用した。音解析にはWindows10で動作するHAWKというソフトウェアを利用した。HARKは、音源定位や音源分離、音声認識を可能にするソフトウェアでWindowsとLinuxで動作する。
当該年度の実験では、8方向から音データを取得できることを確認し、取得した音情報から音源方向を推定することができた。「音源方向の推定」は、本研究の3要素の一つであり、今後は残りの2つの要素である「音種の推定」と「情報表示」に重きを置く予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
研究計画では、１年目に(1)数多くある環境音の中から、聴覚障害者が危険にさらされる危険音の絞り込みを行い、危険音・環境音に関する調査・収集・分類する (2)臨場感フォントを作成し、危険・注意音と紐付け臨場感プレシステムの構築を進める予定であった。
(1)の調査等では、聴覚障害学生の協力を予定していたが、当該学生の居住地移動など想定外の状況となった。このため、健常者に耳栓やヘッドフォンを装着して仮想的に聴覚障害状況をつくっての調査も検討したが、予備実験として筆者が調査をしたところ、長期にわたって調査をしなければ、日常的におこりうる危険な状況は感じにくいことがわかった。また、同手法では聴覚障害の状況把握としての精度に疑問が残るため、仮想実験は断念した。実験に代わる聴覚障害の状況把握方法として、現在は関連書物やインターネットでの情報収集を中心に、できる限りの環境を想定して実験を進めている。
調査対象とする音についても再考した。当初は想定していなかった音でも、危険発生音として認識しなければいけないものがあると考え、本システムで検知すべき音の種類を再検討している。次年度以降も実験に協力してもらえる聴覚障害者を探り、アドバイスをいただけるよう努める。
(2)の臨場感プレシステムの構築については、音情報の収集に関するノウハウがなかったため、試行錯誤をしながら進めている。その結果、8方向からの音情報の取得と、取得した音情報による音源方向の推定が可能となった。なお、同実験は、当初想定していた8つの環境音を「危険発生音」と「注意喚起音」に分類したうえで、認識しやすいであろう２つの音を用いて行った。これらの結果については1件の学会発表、2件の論文投稿を行った。
|
| Strategy for Future Research Activity |
平成30年度は、現在すすめている臨場感フォントの作成及び臨場感プレシステムの構築をすすめる。危険音を認識するための3要素である(1)音源方向の推定については目処がついたので、実験のすすんでいない(2)音種の推定 (3)情報表示についてすすめ、2年目に大まかなシステムの構築を目指す。また臨場感プレシステムに必要な環境音の音揚（方向、距離、大きさ）をモニターに表示し、臨場感フォントの表示ルールを調整する。また、作成したシステム及び聴覚障害者が感じる日常的な危険音について、できるだけ当事者の声が反映できるよう、県内の聾学校や聴覚障害学生にアンケートなど協力を依頼できる関係構築を模索する。また、これらの成果について海外発表1回、国内発表1回を予定している。
平成31年度は、これまで作成してきたシステムをHMDに実装し、インターフェースの調整を行う。聴覚障害学生のフィードバックを反映し検討を重ねる。また、聴覚障害学生の協力が充分に得られない場合は、耳栓やヘッドフォンを装着して仮想的に音が聞こえない状態にした健常者で実験を行う。
|
| Causes of Carryover |
平成29年度は基礎実験に時間がかかり、海外発表が一回に留まった。平成30年度は国内発表、並びに情報収集のための学会参加を積極的に行い、それらの旅費として使用する。また波形編集などシステム構築に関わるソフトや環境音録音機器等、未購入であった物品の購入にあてる。
|
