研究課題
本年度の交付申請書に記載したとおり、【2】音声の視覚化を行った。【2】音声の視覚化教員の声、周りの音を複数の音声入力装置で入力し、それぞれ雑音を消し解析を行った。解析システムは2つのサブシステムオノマトペサブシステム」と「臨場感フォント生成サブシステム」から成る。1)オノマトペサブシステムこのシステムでは周りの音を日本の漫画で用いられる「吹き出し」や「漫符」で感情表現の情報を付加することとした。104名のアンケート結果より講義中に連想されるオノマトペをシステムに採用した。オノマトペの抽出においては、(1)事前に、音声データ(教師データ)を周波数解析することでオノマトペの特徴データを学習しておき、(2)入力された音声の周波数解析の結果と学習した特徴データを比較・分類することで、最も近いオノマトペを識別した。対象となるオノマトペの種類を限定したことで識別が可能となった。これらを用いてシステムを構築した。2)臨場感フォント生成サブシステム教員の声から臨場感を表す要素を決定した。要素とは、声の大小・高低・スピード、間合いなどである。次にオープンソースの音声認識エンジンJuliusの認識出力結果から、文字の大きさ、間隔、フォントなどを決定した。また表示についてはオノマトペサブシステムでも用いている「吹き出し」や「漫符」の背景画像の上にテキストを載せることにより、より表現豊かに表すこととした。これらの調査、検討、評価を行ったために申請時の内容よりも、より「授業の雰囲気」を伝えることのできるサブシステムが構築できた。
2: おおむね順調に進展している
教員の音声は、非言語情報からマンガの表現技法である「吹き出し」・「漫符」によって背景画像を決定し、臨場感フォント生成システムによって文字の大きさ、間隔、フォントなどを決定し、テキ」ストを重ねて表示する。ただし、当初非言語情報から感情分析を検討していたが時間を要するため、直接音声から吹き出し・漫符を決定する方法を考えた。また、オノマトペ生成システムは、教室のざわつき度を特徴データとして予め登録してから周波数解析によって識別することで、非言語情報をテキスト化することに成功している。
教員の音声から非言語情報を「オノマトペ生成サブシステム」と「臨場感フォント生成システム」によって、視覚化するシステムの試作に成功している。今後は、それぞれのサブシステムの同期を取りながら、聴覚障害者の方々に客観的なシステム評価をしてもらい、システムの再構築を検討する必要がある。また、各サブシステムにおいて、非言語情報から感情分析をするのではなく、直接マンガ技法を識別するルールの確立を模索する。さらに、オノマトペ生成と臨場感フォント生成との間に、Juliusの解析にある程度の時間を要するため、同期ずれが予想されるのでタイミング制御を施す予定である。オープンソースの音声認識エンジンでは、教員の音声をリアルタイムにテキスト化することは不可能なので、Juhusに認識されやすいサンプル音声を作成し、教員の口調がどのような表現技法でテキスト化されればよいのか、最終年でアンケート調査を行い、システム評価にしたいと考えている。
すべて 2012 2011
すべて 雑誌論文 (3件) (うち査読あり 2件) 学会発表 (4件)
金城紀要
巻: 第36号 ページ: 17-27
Proceedings of 12th Asia Pacific Industrial Engineering & Management Systems Conference (APIEMS) 2011
ページ: 748-751
Everyday Technology for Independence and Care-AAATE2011(Gert Jan Gelderblom, Mathijs Soede, Leon Adriaens, and Klaus Miesenberger (Eds.))
巻: 29 ページ: 1090-1097
