| 研究課題/領域番号 |
25700021
|
|---|
| 研究機関 | 関西大学 |
|---|
研究代表者 |
米澤 朋子 関西大学, 総合情報学部, 准教授 (90395161)
|
|---|
| 研究期間 (年度) |
2013-04-01 – 2017-03-31
|
| キーワード | 可聴化 / 可視化 / マルチモーダル情報ブラウズ / パラコミュニケーション / 聴衆状態推定 / 指向性付空間音響 |
|---|
| 研究実績の概要 |
27年度は話者支援と聴衆支援の両側面から、１）聴衆状態推定手法，２）話者への大局的情報提示手法，３）携帯端末を用いた音場生成システムの完成，といった入出力及び状況分析アルゴリズムの基礎システムの完成，更に４）音場再現用コンテンツ生成手法の再考やそれぞれの国内外での学会発表を行った．
聴衆状態の推定として，音声での取り組みの精度が上がらなかったため，映像解析に切り替えたところ，参加態度(聴衆のコンテンツ集中度とアクティブさの２軸)の軸を設定し推定率を７０～９０％とすることができた．さらに話者の聴衆理解のためのフィードバック手法として，大局的情報提示手法のため映像重畳型カラーマップ手法を実装した．
また，聴衆状態に基づく話者から聴衆へのパラコミュニケーションチャンネルとして空間音響合成を検討してきたが，携帯端末を用いた音場生成システムを実現した．これは25年度から改善を進め，同期信号パルスを工夫し精度や頑健度を向上させたものである．
音楽的フィードバックの話者音響ブラウズ手法(27年度国際会議発表)の再考を進めながら，教室や会議場空間に限らず，バーチャルキャラクタの音楽コンサートや映画館など，エンタテイメント性を向上させながら聴衆間コミュニケーションを充実させる応用分野へ向けて特許の準備中である．
他にも，参加感や連帯感を高めるための空間没入を目指した振動と音の連動による物理的間隔を伴う伝達手法，個人端末での没入感を向上させるARへ展開しつつある．また，音声に限らずテキスト情報からダイジェストを生成しエージェントが対話的に知らせるシステムなど授業や講演の振り返りにコメント集約が期待できるものもある．最終的にはアンビエントなモダリティと明示的なモダリティを組み合わせるモダリティボリュームの概念(27年度発表)を提案し本手法のパラコミュニケーションの伝達手法に取り入れられると考える．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
音声提示自体の効果が予想より低そうなこともあり，実際の端末に搭載できる機能としての振動にかかわるマルチモーダルなパラコミュニケーション伝達手法をメインとして進めることとした． またつぶやき音声による参加度合いではなく映像オプティカルフローにおける参加度とアクティブさの軸による聴衆参加状態の分析に的を絞ったことで，ある程度精度の高い聴衆状態推定ができるようになった．つぶやき音声は映像に基づく参加状態をキーとしてピックアップして聴取する，個別ブラウズモードの時の対応で用いるほうがうまくいくと考えられる． さらに，端末を用いた同期手法の改善と映像同期を取り入れることでシーンにあった同期手法の選択・もしくは両方の適用による精度の向上などが期待できる． 本研究の軸となるパラコミュニケーションボリュームに到達する前のモダリティボリュームの考え方とボリューム変化による状況理解の影響について検証し，理解したい状況の重要性に応じて質と量を変えていく必要性が確認できた．これに基づき，今後の研究展開時の軸となる，聴衆の大局的反応や個別反応というグルーピングのボリュームと，伝達手法としてのモダリティボリュームについて詳細化できた27年度研究成果は研究課題の方針として大きな変革と言える．
|
| 今後の研究の推進方策 |
28年度は過去3年度にわたり展開した研究の検証や，27年度の成果であるコミュニケーションのボリューム機能に加えるモダリティボリュームによる表現を統合的に設計する．聴衆状態推定に基づく音響生成までの流れを検証するとともに，空間音響における移動と指向性の効果を詳細に検討する． 聴衆状態推定手法を改善するとともに，実空間での音響パラコミュニケーションにおける聴衆状態推定結果の反映（自動）を導入し効果を検証する．これらについて，研究成果をまとめ執筆を進める．
|
| 次年度使用額が生じた理由 |
人件費は多くかかったが，科研費研究員の雇用1件が28年度になったこと，また，体調を鑑みて国際会議参加が予定より少なく，国内の発表も近場のものが多かったこと，により次年度使用額が生じた．
|
| 次年度使用額の使用計画 |
科研費研究員の雇用と，大規模実験および実験室実験を進める予定である。成果の発表や研究内容紹介HPなどへも注力していく。
国際会議参加1000千円，人件費に1400千円，聴衆状態推定実験に800千円，パラメトリックスピーカや複数端末を用いた音響構築実験に700千円，音響環境によるコミュニケーション没入補助としての振動・AR装置関係の研究開発800千円，モダリティボリューム調整変更システムに500千円，印刷代で300千円程度，をそれぞれ予定している．
|
