• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2021 Fiscal Year Annual Research Report

Dialogue environment generation and control system based on embodied entrainment

Research Project

Project/Area Number 20H04232
Research InstitutionOkayama Prefectural University

Principal Investigator

渡邉 富夫  岡山県立大学, 情報工学部, 特任教授 (30167150)

Co-Investigator(Kenkyū-buntansha) 石井 裕  岡山県立大学, 情報工学部, 准教授 (30372642)
西田 麻希子  岡山県立大学, デザイン学部, 准教授 (80382365)
綿貫 啓一  埼玉大学, 理工学研究科, 教授 (30212327)
Project Period (FY) 2020-04-01 – 2024-03-31
Keywordsヒューマンインタフェース / ヒューマンインタラクション / コミュニケーション / インタラクション / 引き込み / 対話
Outline of Annual Research Achievements

コロナ禍でオンライン及び対面でのシステム評価法を再検討し、引き続き、身体的引き込みと対話場の生成メカニズムの解明、およびその対話場生成・制御メカニズムのモデル化を達成するために、【研究1】これまでに開発してきた(Ⅰ)身体的コミュニケーションの合成的解析・理解のための身体的バーチャルコミュニケーションシステム、(Ⅱ)コミュニケーション支援のための音声に基づく身体的インタラクションシステム、(Ⅲ)コミュニケーション場の生成制御のための集団インタラクション・コミュニケーションシステムを研究開発展開し、各種の対話場の生成・制御システムのプロトタイプを構築している。具体的には、Web会議における聴講者の代役としての身体引き込みシステム、多様なうなずき動作の印象評価に基づく身体引き込みシステム、VR空間における複数キャラクタを含む雑音環境を利用した発話支援システム、話者適応子をミラーリングした身体引き込みキャラクタによる傾聴システムなど、新たにオンラインを活用・併用してのシステム開発・評価を展開し、官能評価及びインタラクション行動特性解析によりシステムの有効性を示した。また、【研究2】脳機能計測(NIRS)等を用いてポジティブ・ネガティブ情動と脳活動との関連を明らかにするなど、人の快適性を考慮した制御システムの研究開発の知見を基に、コミュニケーションの指標化を目指して各種条件下での人とのインタラクションにおける感性情動評価システムを研究開発した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

新たにオンラインを活用・併用してのシステム開発・評価を展開し、官能評価及びインタラクション行動特性解析によりシステムの有効性を示している。

Strategy for Future Research Activity

コロナ禍で研究活動が制限されているが、引き続き、身体的引き込みと対話場の生成メカニズムの解明、およびその対話場生成・制御メカニズムのモデル化を達成するために、【研究1】これまでに開発してきた(Ⅰ)身体的コミュニケーションの合成的解析・理解のための身体的バーチャルコミュニケーションシステム、(Ⅱ)コミュニケーション支援のための音声に基づく身体的インタラクションシステム、(Ⅲ)コミュニケーション場の生成制御のための集団インタラクション・コミュニケーションシステムを研究開発展開し、対話場の生成・制御システムのプロトタイプを構築する。また、【研究2】生体計測と脳科学に関する知見に基づく発話と心的状態の関連性の評価から、積極的な対話を促す快適な対話場の実現に向けた対話場生成・制御メカニズムのモデル化を試行する。

  • Research Products

    (22 results)

All 2022 2021 Other

All Int'l Joint Research (1 results) Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 3 results) Presentation (17 results) (of which Int'l Joint Research: 4 results,  Invited: 5 results) Remarks (1 results)

  • [Int'l Joint Research] Bond University, iCAM(オーストラリア)

    • Country Name
      AUSTRALIA
    • Counterpart Institution
      Bond University, iCAM
  • [Journal Article] A body contact-driven pupil response pet-robot for enhancing affinity2021

    • Author(s)
      Yoshihiro Sejima, Yoichiro Sato, Tomio Watanabe
    • Journal Title

      Journal of Advanced Mechanical Design, Systems, and Manufacturing

      Volume: 15(5) Pages: 1-10

    • DOI

      10.1299/jamdsm.2021jamdsm0061

    • Peer Reviewed / Open Access
  • [Journal Article] 瞳孔表現メディアにおける瞳孔面積が印象形成に及ぼす影響2021

    • Author(s)
      瀬島吉裕,川本宙輝,佐藤洋一郎,渡辺富夫
    • Journal Title

      日本機械学会論文集

      Volume: 87(903) Pages: 1-12

    • DOI

      10.1299/transjsme.21-00187

    • Peer Reviewed / Open Access
  • [Journal Article] 発話単語のネガティブ極性に対して遅延音声相槌を行う音声駆動型身体引き込みキャラクタシステム2021

    • Author(s)
      西田 麻希子,石井 裕,渡辺 富夫
    • Journal Title

      日本機械学会論文集

      Volume: 87(897) Pages: 1-13

    • DOI

      10.1299/transjsme.20-00104

    • Peer Reviewed / Open Access
  • [Presentation] 人を引き込む身体的インタラクション・コミュニケーション技術2022

    • Author(s)
      渡辺富夫
    • Organizer
      動的画像処理実利用化ワークショップDIA2022特別講演, 2022-3
    • Invited
  • [Presentation] Avatar Twin using shadow avatar in avatar-mediated communication2021

    • Author(s)
      Yutaka Ishii, Satoshi Kurokawa and Tomio Watanabe
    • Organizer
      Proc. of the 23rd International Conference on Human-Computer Interaction (HCII2021), pp.297-305, 2021-7
    • Int'l Joint Research
  • [Presentation] Development of a Presentation Support System using Group Pupil Response Interfaces2021

    • Author(s)
      Yoshihiro Sejima, Yoichiro Sato and Tomio Watanabe
    • Organizer
      Proc. of the 23rd International Conference on Human-Computer Interaction (HCII2021), pp.429-438, 2021-7
    • Int'l Joint Research
  • [Presentation] Smart Speaker Interaction through ARM-COMS for Health Monitoring Platform2021

    • Author(s)
      Teruaki Ito, Takashi Oyama and Tomio Watanabe
    • Organizer
      Proc. of the 23rd International Conference on Human-Computer Interaction (HCII2021), pp.396-404, 2021-7
    • Int'l Joint Research
  • [Presentation] Evaluation of entrainment of heart rate and brain activation depending on the listener's nodding response and the conversation situation2021

    • Author(s)
      Tomofumi Sakata, Keiichi Watanuki, Kazunori Kaede and Tomio Watanabe
    • Organizer
      Proc. of the 12th International Conference on Applied Human Factors and Ergonomics (AHFE 2021) and its affiliated conferences, Paper ID# 769, pp.788-795, 2021-7
    • Int'l Joint Research
  • [Presentation] 円滑なコミュニケーションとは?2021

    • Author(s)
      渡辺富夫
    • Organizer
      ヒューマンインタフェース学会誌,Vol.24, No.1, pp.22-25, 2022-2
  • [Presentation] 身体的引き込みによるヒューマンロボットインタラクション2021

    • Author(s)
      渡辺富夫
    • Organizer
      日本機械学会ロボティクス・メカトロニクス部門関西地区特別講演会, 2021-8
    • Invited
  • [Presentation] 身体的引き込みによるアバターコミュニケーション2021

    • Author(s)
      渡辺富夫
    • Organizer
      日本バーチャルリアリティ学会VRと超臨場感研究会特別講演, 2021-6
    • Invited
  • [Presentation] 心が通う身体的コミュニケーションシステム2021

    • Author(s)
      渡辺富夫
    • Organizer
      日本精密工学会総合システム専門委員会特別講演会, 2021-6
    • Invited
  • [Presentation] 不確実性時代の教育・研究2021

    • Author(s)
      渡辺富夫
    • Organizer
      日本機械学会第31回設計工学・システム部門講演会ワークショップ, 2021-9
    • Invited
  • [Presentation] 人型3Dモデルの多様なうなずき動作に対する印象評価2021

    • Author(s)
      北村 美和子,黒川 智司, 石井 裕, 渡辺 富夫
    • Organizer
      ヒューマンインタフェース学会研究報告集,Vol.23, No.6, pp.1-8, 2021-11
  • [Presentation] 音声対話における視線情報を付加した場の盛り上がりモデルの開発2021

    • Author(s)
      瀬島吉裕,岡本崚平,渡辺富夫
    • Organizer
      日本機械学会第31回設計工学・システム部門講演会, No.2401, pp.1-5, 2021-9
  • [Presentation] 看護学生教育のためのチャットボットによるエージェントシステムの開発2021

    • Author(s)
      西山 悠, 髙林 範子, 片岡 真吾, 石井 裕, 渡辺 富夫
    • Organizer
      ヒューマンインタフェースシンポジウム2021論文集, pp.371-374, 2021-9
  • [Presentation] 瞳孔反応のミラーリングによる音声駆動型身体的傾聴システムの開発2021

    • Author(s)
      瀬島吉裕,渡辺富夫
    • Organizer
      ヒューマンインタフェースシンポジウム2021論文集, pp.565-569, 2021-9
  • [Presentation] 発話速度に応じた反応動作を行う音声駆動型身体引き込みキャラクタの評価2021

    • Author(s)
      横田 真斗,久富 彩音,石井 裕,渡辺 富夫
    • Organizer
      ヒューマンインタフェース学会研究報告集,Vol.23, No.2, pp.1-8, 2021-5
  • [Presentation] 話者適応子をミラーリングした身体引き込みキャラクタによる傾聴システムの開発2021

    • Author(s)
      蔵本 涼太,石井 裕,渡辺 富夫,片岡 真吾
    • Organizer
      ヒューマンインタフェース学会研究報告集,Vol.23, No.2, pp.1-4, 2021-5
  • [Presentation] 音声から動作生成するキャラクタを重畳合成した映像対話システム2021

    • Author(s)
      渡辺 富夫,石井 裕
    • Organizer
      イノベーション・ジャパン2021,大学見本市オンライン,2021-8~9
  • [Remarks] 岡山県立大学情報工学部ヒューマンインタフェース研究室

    • URL

      http://hint.cse.oka-pu.ac.jp/

URL: 

Published: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi