聴覚障害児の学習を促進する動物園の鳴き声オノマトペシステムの開発

2021 Fiscal Year Research-status Report

• Project/Area Number: 21K18482
• Research Institution: Tsukuba University of Technology
• Principal Investigator: 生田目 美紀 筑波技術大学, 産業技術学部, 教授 (20320624)
• Co-Investigator(Kenkyū-buntansha): 渡辺 知恵美 筑波技術大学, 産業技術学部, 准教授 (20362832) ; 平賀 瑠美 筑波技術大学, 産業技術学部, 教授 (70327021)
• Project Period (FY): 2021-07-09 – 2023-03-31
• Keywords: 動物園 / オノマトペ / 音 / 視覚化 / 聴覚障害児

Outline of Annual Research Achievements

本研究は、固定概念に縛られない動物の鳴き声とその特徴を正しく伝える「鳴き声視覚化システム」を開発する。このシステムは、動物の鳴き声だけでなく、鳴き声をイメージできるような視覚化情報と創作オノマトペを同時に提供するものである。聴覚障害の有無に関わらず楽しめる音の展示によって、ユニバーサルな科学コミュニケーション機会の創出を目指すものである。
今年度は、固定概念にとらわれない動物のリアルな鳴き声をイメージできるようにするために、就学前児童から創作オノマトペを収集し、動物の生態動画と合わせて提示するプログラムを開発した。また、鳴き声をイメージできるような視覚化情報を制作するために、音のイメージにあったエフェクトを自由に設定し、音と同期して画像を変化させるプログラムを開発した。さらに、それらを統合するインタフェースデザインを行った。
次年度はコンテンツデザインを進め、携帯端末上で操作可能なシステムを実装し、評価実験・ワークショップ等を行う予定である。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究課題の進捗状況については、おおむね順調に進展していると判断している。
理由は主に次の3点である。
（1）「鳴き声視覚化システム」の基礎技術の開発が進展した。具体的には、音声と同期して画像を変化させる画像エフェクトプログラムと、動物映像にオノマトペを表示させるプログラムの開発を行った。
（2）技術開発と並行して、デザイン作業が進展した。具体的には、アプリ上でのインタフェースデザインとユーザーエクスペリエンスデザインの開発ができた。
（3）技術開発・デザイン開発に並行して、データ収集作業が進展した。具体的には、就学前児童を対象としたアンケートを実施し、創作オノマトペのデータ収集ができた。動物園の協力を得て、動物音声と映像の収集ができた。

Strategy for Future Research Activity

今後の研究課題の推進方策については，以下の点を挙げることができる。
（1）開発してきた画像エフェクトプログラムとオノマトペ表示プログラムから得た画像とデザインを統合した「鳴き声視覚化システム」を携帯端末上で実装させる。
（2）「鳴き声視覚化システム」を用いて、聴覚障害の有無に関わらず楽しめる鳴き声の展示支援や鳴き声に関する知識を提供につなげるための評価実験を行う。
（3）聴こえる・聞こえない・聞こえにくい児童を対象に、動物園での実証実験を実施するが、コロナ禍のため変更を余儀無くされる場合も想定して、実験対象者・実験方法などは臨機応変に考える。
（4）ジャーナル論文化，国際会議への投稿など研究成果の発表について取り組む。

Causes of Carryover

Covid-19の影響を受け、動物園などの協力施設が閉館になり、システム開発前の現地でのワークショップや現地調査を実施することができなかった。そこで、作業フローを変更し、まずはシステム開発を行い、その後でシステム評価にかかるワークショップや現地調査を実施することにした。開発前調査として計画していた使用額はシステム評価を複数回実施するために使用する計画である。