2016 Fiscal Year Research-status Report
| Project/Area Number |
15K01069
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
西村 竜一 和歌山大学, システム工学部, 助教 (00379611)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
原 直 岡山大学, 自然科学研究科, 助教 (50402467)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 音声情報処理 / PBL / 可視化 / 笑い声 / 足音 / 環境音 |
|---|
| Outline of Annual Research Achievements |
本研究では、「音」の可視化を基盤技術とし、学生のアクティビティ測定法を提案する。提案法を大学等の高等教育機関で導入が進むPBL（プロジェクト型学習、課題解決型学習）の教育現場で試行することを目指す。
既存の音声認識システムでは、実環境下のくだけた会話や複雑に入り組んだ対話をすべて正確に書き起こすことは困難である。このため、昨年度から引き続き、活性度を示す重要なファクタの一つである「笑い声」に着目した検討を進めた。4人の協力者によるグループワークを収録した映像データに対し、人手で「盛り上がり」のメタデータを付与するためのシステムを実装し、笑い声と盛り上がりの相関を分析した。この作業過程では、付与情報の正確性が問題となったため、アノテーション作業の効率化を支援するシステムが必要になった。そこで、マルチポインティングに対応したタッチパネルを利用したユーザインタフェースを試作した。この結果、参加者4人の発話に対し、同時かつ効率的に、盛り上がりを示すメタデータを付与できるようになった。
加速度、ジャイロ、地磁気や圧力のセンシングデータと時間同期した「足音」の音響信号の収録システムを開発した。学生プロジェクト活動に参加する学生7名の協力を得て、7時間分の歩行データ（音響信号、センシングデータ）を収集した。深層学習型ニューラルネットワークを利用することで、センシングデータを変換、足音の音響信号を合成する手法を提案し、足音の統計的モデル化を検討した。
同一空間内に多数存在する音源情報を可視化するため、収録したパラメタから音源情報に変換するための認識器およびその特徴量について検討を加えた。深層学習型ニューラルネットワークに基づく手法であるLSTM、CNN、CNN-LSTMを比較した結果、CNN-LSTMにおいて高い精度を確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
PBL学修者のアクティビティを視覚的に把握できるようにすることを目的にした「音」の可視化技術の開発は、収録データから抽出したパラメタの抽象化や統計的モデル化に基づいて着実に進展している。深層学習型ニューラルネットワークを導入することで、音響信号の識別アルゴリズムの性能向上を確認することができた。また、深層学習型ニューラルネットワークをセンシングデータと音響信号の変換システムとして利用することで、足音のモデル化の手法について知見を得ることができた。アノテーション作業のための新しいユーザインタフェースの開発によって、収録データの整備を効率化することができ、次年度以降の研究に問題なく取り組める状況にある。
以上から、本研究は、おおむね順調に進展していると考える。
|
| Strategy for Future Research Activity |
引き続き、パラメタの抽象化や識別アルゴリズムの改良を通じて、可視化の精度向上を目指す。並行して、多様性をカバーするためには、実験資料である収録データの拡充が必要がある。PBLに参加する学生を協力者とし、グループワークを収録する。
収録システムをネットワークに接続し、データをサーバに自動集約するためのオンラインシステムを開発する。また、サーバ上でモデルを逐次的に更新する機構の導入を検討する。
収集したデータを整備する過程において、試作したユーザインタフェースを備えたアノテーション支援システムを評価する。誤った付与情報を除外し、データの信頼性を確保できるようにするため、複数の学修者と指導者が協調的にアノテーションを付与できるようにインタフェースを拡張する。
小型ボードコンピュータ（Raspberry Pi）を用いて試作したデータ収録及び可視化情報提示のプロトタイプシステムを改良する。超小型マイクロホン等を搭載、ハードウェア全体を小型化して利便性及び完成度の向上を目指す。
|
| Causes of Carryover |
ハードウェアのモデルチェンジにより、当初予定より機器を安価に導入することができたため。
|
| Expenditure Plan for Carryover Budget |
人件費（研究協力謝金）に充てることで、データの拡充（収録及び整備）を進める。
小型ボードコンピュータをまとまった数量（10セット程度）購入し、データ収録・可視化情報提示システムの実用レベルを製品相当まで向上できるように改良を加える。
|
