• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2015 Fiscal Year Annual Research Report

音響空間と音声指向性を用いた可聴化パラコミュニケーション情報環境に関する研究

Research Project

Project/Area Number 25700021
Research InstitutionKansai University

Principal Investigator

米澤 朋子  関西大学, 総合情報学部, 准教授 (90395161)

Project Period (FY) 2013-04-01 – 2017-03-31
Keywords可聴化 / 可視化 / マルチモーダル情報ブラウズ / パラコミュニケーション / 聴衆状態推定 / 指向性付空間音響
Outline of Annual Research Achievements

27年度は話者支援と聴衆支援の両側面から、1)聴衆状態推定手法,2)話者への大局的情報提示手法,3)携帯端末を用いた音場生成システムの完成,といった入出力及び状況分析アルゴリズムの基礎システムの完成,更に4)音場再現用コンテンツ生成手法の再考やそれぞれの国内外での学会発表を行った.
聴衆状態の推定として,音声での取り組みの精度が上がらなかったため,映像解析に切り替えたところ,参加態度(聴衆のコンテンツ集中度とアクティブさの2軸)の軸を設定し推定率を70~90%とすることができた.さらに話者の聴衆理解のためのフィードバック手法として,大局的情報提示手法のため映像重畳型カラーマップ手法を実装した.
また,聴衆状態に基づく話者から聴衆へのパラコミュニケーションチャンネルとして空間音響合成を検討してきたが,携帯端末を用いた音場生成システムを実現した.これは25年度から改善を進め,同期信号パルスを工夫し精度や頑健度を向上させたものである.
音楽的フィードバックの話者音響ブラウズ手法(27年度国際会議発表)の再考を進めながら,教室や会議場空間に限らず,バーチャルキャラクタの音楽コンサートや映画館など,エンタテイメント性を向上させながら聴衆間コミュニケーションを充実させる応用分野へ向けて特許の準備中である.
他にも,参加感や連帯感を高めるための空間没入を目指した振動と音の連動による物理的間隔を伴う伝達手法,個人端末での没入感を向上させるARへ展開しつつある.また,音声に限らずテキスト情報からダイジェストを生成しエージェントが対話的に知らせるシステムなど授業や講演の振り返りにコメント集約が期待できるものもある.最終的にはアンビエントなモダリティと明示的なモダリティを組み合わせるモダリティボリュームの概念(27年度発表)を提案し本手法のパラコミュニケーションの伝達手法に取り入れられると考える.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

音声提示自体の効果が予想より低そうなこともあり,実際の端末に搭載できる機能としての振動にかかわるマルチモーダルなパラコミュニケーション伝達手法をメインとして進めることとした. またつぶやき音声による参加度合いではなく映像オプティカルフローにおける参加度とアクティブさの軸による聴衆参加状態の分析に的を絞ったことで,ある程度精度の高い聴衆状態推定ができるようになった.つぶやき音声は映像に基づく参加状態をキーとしてピックアップして聴取する,個別ブラウズモードの時の対応で用いるほうがうまくいくと考えられる. さらに,端末を用いた同期手法の改善と映像同期を取り入れることでシーンにあった同期手法の選択・もしくは両方の適用による精度の向上などが期待できる. 本研究の軸となるパラコミュニケーションボリュームに到達する前のモダリティボリュームの考え方とボリューム変化による状況理解の影響について検証し,理解したい状況の重要性に応じて質と量を変えていく必要性が確認できた.これに基づき,今後の研究展開時の軸となる,聴衆の大局的反応や個別反応というグルーピングのボリュームと,伝達手法としてのモダリティボリュームについて詳細化できた27年度研究成果は研究課題の方針として大きな変革と言える.

Strategy for Future Research Activity

28年度は過去3年度にわたり展開した研究の検証や,27年度の成果であるコミュニケーションのボリューム機能に加えるモダリティボリュームによる表現を統合的に設計する.聴衆状態推定に基づく音響生成までの流れを検証するとともに,空間音響における移動と指向性の効果を詳細に検討する. 聴衆状態推定手法を改善するとともに,実空間での音響パラコミュニケーションにおける聴衆状態推定結果の反映(自動)を導入し効果を検証する.これらについて,研究成果をまとめ執筆を進める.

Causes of Carryover

人件費は多くかかったが,科研費研究員の雇用1件が28年度になったこと,また,体調を鑑みて国際会議参加が予定より少なく,国内の発表も近場のものが多かったこと,により次年度使用額が生じた.

Expenditure Plan for Carryover Budget

科研費研究員の雇用と,大規模実験および実験室実験を進める予定である。成果の発表や研究内容紹介HPなどへも注力していく。
国際会議参加1000千円,人件費に1400千円,聴衆状態推定実験に800千円,パラメトリックスピーカや複数端末を用いた音響構築実験に700千円,音響環境によるコミュニケーション没入補助としての振動・AR装置関係の研究開発800千円,モダリティボリューム調整変更システムに500千円,印刷代で300千円程度,をそれぞれ予定している.

  • Research Products

    (20 results)

All 2016 2015

All Journal Article (1 results) (of which Peer Reviewed: 1 results,  Acknowledgement Compliant: 1 results) Presentation (19 results) (of which Int'l Joint Research: 2 results)

  • [Journal Article] 身体動作・環境音のオノマトペを含むテキストコミュニケーション手法の検討2015

    • Author(s)
      中祐介, 伊納洋佑, 吉田直人, 米澤朋子
    • Journal Title

      ヒューマンインタフェース学会論文誌

      Volume: vol.17, no.2 Pages: 97--106

    • Peer Reviewed / Acknowledgement Compliant
  • [Presentation] 遠隔アンビエントコミュニケーションに向けた モダリティボリューム調整手法の検討2016

    • Author(s)
      中祐介, 米澤朋子
    • Organizer
      HI学会研究会
    • Place of Presentation
      京都工芸繊維大学,京都
    • Year and Date
      2016-03-26
  • [Presentation] 影型他者行動表現エージェントによる壁面広告への注意誘導効果の検証2016

    • Author(s)
      鼻崎将, 吉田直人, 米澤朋子
    • Organizer
      情報処理学会知能システム研究会
    • Place of Presentation
      名工大,名古屋
    • Year and Date
      2016-03-16
  • [Presentation] 聴講者の参加状態推定に基づくカラーマッピング重畳画像を用いた講演者の状況把握支援システムの提案2016

    • Author(s)
      石川佑樹, 中祐介, 吉田直人, 米澤朋子
    • Organizer
      電子情報通信学会教育工学研究会 ET2015–117
    • Place of Presentation
      香川大学,香川
    • Year and Date
      2016-03-05
  • [Presentation] 複数の携帯端末の同期・位置推定手法による閉鎖空間の音響環境構築2016

    • Author(s)
      伊納洋佑, 石川佑樹, 中祐介, 米澤朋子
    • Organizer
      電子情報通信学会応用音響研究会vol.115, no.424
    • Place of Presentation
      関西大学,大阪
    • Year and Date
      2016-01-31
  • [Presentation] SNS記事を集約する介在エージェントによるダイジェストコミュニケーションの提案2015

    • Author(s)
      植田浩章, 孟暁順, 米澤朋子
    • Organizer
      HAIシンポジウム2015
    • Place of Presentation
      東大,東京
    • Year and Date
      2015-12-04
  • [Presentation] Design of Pet Robots with Limitations of Lives and Inherited Characteristics2015

    • Author(s)
      Tomoko Yonezawa, Naoto Yoshida, Kento Kuboshima
    • Organizer
      BICT 2015 OS:ARPI--5
    • Place of Presentation
      ニューヨーク(アメリカ,スカイプ参加)
    • Year and Date
      2015-12-04
  • [Presentation] Breathing Expression for Intimate Communication Corresponding to the Physical Distance and Contact between Human and Robot2015

    • Author(s)
      Naoto Yoshida, Yukari Nakatani, Tomoko Yonezawa
    • Organizer
      BICT 2015 OS:ARPI--5
    • Place of Presentation
      ニューヨーク(アメリカ,スカイプ参加)
    • Year and Date
      2015-12-04
  • [Presentation] Wearable robot that measures user vital signs for elderly care and support2015

    • Author(s)
      Hirotake Yamazoe, Tomoko Yonezawa
    • Organizer
      BICT 2015 OS:ARPI--5
    • Place of Presentation
      ニューヨーク(アメリカ,スカイプ参加)
    • Year and Date
      2015-12-04
  • [Presentation] Direction indication mechanism by pulling user's cloth for wearable message robot2015

    • Author(s)
      Hirotake Yamazoe, Tomoko Yonezawa
    • Organizer
      ICAT-EGVE 2015
    • Place of Presentation
      京都市国際交流会館,京都
    • Year and Date
      2015-10-28
  • [Presentation] Spatial Communication and Recognition in Human-agent Interaction using the Motion Parallax-based 3DCG Virtual Agent2015

    • Author(s)
      Naoto Yoshida, Tomoko Yonezawa
    • Organizer
      HAI 2015
    • Place of Presentation
      テグ(韓国)
    • Year and Date
      2015-10-22
  • [Presentation] 複数の可動レイヤーを用いた小型没入感提示システムの奥行き提示効果2015

    • Author(s)
      不破崚太, 中祐介, 吉田直人, 米澤朋子
    • Organizer
      情報処理学会関西支部大会 2015
    • Place of Presentation
      大阪大学中之島キャンパス,大阪
    • Year and Date
      2015-09-26
  • [Presentation] 前後左右振動と音の物理的通過感による音楽の臨場感向上の有効性の検証2015

    • Author(s)
      柳翔太, 吉田直人, 米澤朋子
    • Organizer
      情報処理学会関西支部大会 2015
    • Place of Presentation
      大阪大学中之島キャンパス,大阪
    • Year and Date
      2015-09-26
  • [Presentation] ユーザの平常・緊急状況におけるモダリティボリューム調整手法の検討2015

    • Author(s)
      中祐介, 米澤朋子
    • Organizer
      情報処理学会関西支部大会 2015C-10 (6 pages)
    • Place of Presentation
      大阪(大阪大学中之島キャンパス)
    • Year and Date
      2015-09-25
  • [Presentation] Wearable robot with vital sensors for elderly care and support2015

    • Author(s)
      Hirotake Yamazoe, Tomoko Yonezawa
    • Organizer
      RO-MAN 2015
    • Place of Presentation
      ポートピアホテル,神戸
    • Year and Date
      2015-09-01
  • [Presentation] Auditory browsing interface of ambient and parallel sound expression for supporting one-to-many communication2015

    • Author(s)
      Tomoko Yonezawa
    • Organizer
      HCII 2015
    • Place of Presentation
      ロサンゼルス(アメリカ)
    • Year and Date
      2015-08-02
    • Int'l Joint Research
  • [Presentation] Indirect Monitoring of Cared Person by Onomatopoeic Text of Environmental Sound and User's Physical State2015

    • Author(s)
      Yusuke Naka, Naoto Yoshida, Tomoko Yonezawa
    • Organizer
      HCII 2015DAPI 2015, LNCS 9189
    • Place of Presentation
      ロサンゼルス(アメリカ)
    • Year and Date
      2015-08-02
    • Int'l Joint Research
  • [Presentation] Evaluating Elements of Communicative Stuffed-toy Device Describes Scripts on SNS2015

    • Author(s)
      Haruka Mase, Tomoko Yonezawa, Kazuki Joe
    • Organizer
      PDPTA 2015
    • Place of Presentation
      ラスベガス(アメリカ)
    • Year and Date
      2015-07-28
  • [Presentation] 講演者の状況理解促進のための多人数聴衆の動的集中度エリアマップ表示へ向けて2015

    • Author(s)
      石川佑樹, 米澤朋子
    • Organizer
      第18回画像の認識・理解シンポジウム MIRU 2015
    • Place of Presentation
      ホテル阪急エキスポパーク,大阪
    • Year and Date
      2015-07-27
  • [Presentation] 動的マーカを利用した複数ユーザへの同期AR提示環境2015

    • Author(s)
      山添大丈, 米澤朋子
    • Organizer
      第18回画像の認識・理解シンポジウム MIRU 2015
    • Place of Presentation
      ホテル阪急エキスポパーク,大阪
    • Year and Date
      2015-07-27

URL: 

Published: 2017-01-06  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi