• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2022 Fiscal Year Annual Research Report

Dialogue environment generation and control system based on embodied entrainment

Research Project

Project/Area Number 20H04232
Research InstitutionOkayama Prefectural University

Principal Investigator

渡邉 富夫  岡山県立大学, 情報工学部, 特任教授 (30167150)

Co-Investigator(Kenkyū-buntansha) 綿貫 啓一  埼玉大学, 理工学研究科, 教授 (30212327)
石井 裕  岡山県立大学, 情報工学部, 准教授 (30372642)
西田 麻希子  岡山県立大学, デザイン学部, 准教授 (80382365)
Project Period (FY) 2020-04-01 – 2024-03-31
Keywordsヒューマンインタフェース / ヒューマンインタラクション / コミュニケーション / インタラクション / 引き込み / 対話
Outline of Annual Research Achievements

引き続き、コロナ禍でオンライン及び対面でのシステム評価法を再検討し、身体的引き込みと対話場の生成メカニズムの解明、およびその対話場生成・制御メカニズムのモデル化を達成するために、【研究1】これまでに開発してきた(Ⅰ)身体的コミュニケーションの合成的解析・理解のための身体的バーチャルコミュニケーションシステム、(Ⅱ)コミュニケーション支援のための音声に基づく身体的インタラクションシステム、(Ⅲ)コミュニケーション場の生成制御のための集団インタラクション・コミュニケーションシステムを研究開発展開し、各種の対話場の生成・制御システムを構築している。具体的には、多様なうなずき動作の印象評価に基づく身体引き込みシステムの展開、Web会議における積極的傾聴を促す身体引き込みシステム、うなずき反応振動提示によるコミュニケーション支援システム、発話抑制を目的とした聞き手ロボットの身体引き込み反応のタイミング制御システムなど、新たにオンラインを活用・併用してのシステム開発・評価を展開し、多様なうなずき動作など身体引き込み反応を制御することで、使用者の状況や感情に寄り添うコミュニケーションシステムの有効性を示した。また、【研究2】生体計測と脳科学に関する知見に基づく発話と心的状態の関連性の評価から、うなずきタイミングを遅延制御したロボットとのインタラクションにおける脳活動計測による情動評価等、対話を促す快適な対話場の実現に向けた対話場生成・制御メカニズムのモデル化を試行した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

新たにオンラインを活用・併用してのシステム開発・評価を展開し、各種の対話場の生成・制御システムを構築している。

Strategy for Future Research Activity

前年度に引き続き、身体的引き込みと対話場の生成メカニズムの解明、およびその対話場生成・制御メカニズムのモデル化を推進するために、【研究1】これまでに開発してきた(Ⅰ)身体的コミュニケーションの合成的解析・理解のための身体的バーチャルコミュニケーションシステム、(Ⅱ)コミュニケーション支援のための音声に基づく身体的インタラクションシステム、(Ⅲ)コミュニケーション場の生成制御のための集団インタラクション・コミュニケーションシステムを研究開発展開し、対話場の生成・制御システムのプロトタイプを展開・解析・評価する。また、【研究2】生体計測と脳科学に関する知見に基づく発話と心的状態の関連性の評価から、多様なうなずき動作やインタラクションのタイミング制御による各種コミュニケーション条件下での脳機能計測(NIRS)等の各種生体情報計測により、積極的な対話を促す快適な対話場の実現に向けた対話場生成・制御メカニズムのモデル化を推進する。

  • Research Products

    (23 results)

All 2023 2022 Other

All Int'l Joint Research (1 results) Journal Article (4 results) (of which Peer Reviewed: 4 results,  Open Access: 4 results) Presentation (17 results) (of which Int'l Joint Research: 4 results,  Invited: 1 results) Remarks (1 results)

  • [Int'l Joint Research] Bond University, iCAM(オーストラリア)

    • Country Name
      AUSTRALIA
    • Counterpart Institution
      Bond University, iCAM
  • [Journal Article] モーラに基づく発話速度に応じた反応動作を行う音声駆動型身体引き込みシステム2023

    • Author(s)
      1) 横田 真斗, 久富 彩音, 石井 裕, 渡辺 富夫
    • Journal Title

      日本機械学会論文集

      Volume: 89 Pages: 22-00228

    • DOI

      10.1299/transjsme.22-00228

    • Peer Reviewed / Open Access
  • [Journal Article] CGキャラクタを用いた多様なうなずき動作に対する印象評価2022

    • Author(s)
      北村 美和子、黒川 智司、石井 裕、渡辺 富夫
    • Journal Title

      ヒューマンインタフェース学会論文誌

      Volume: 24 Pages: 249~262

    • DOI

      10.11184/his.24.4_249

    • Peer Reviewed / Open Access
  • [Journal Article] A speech-driven pupil response system with affective highlight by virtual lighting2022

    • Author(s)
      SEJIMA Yoshihiro、KAWAMOTO Hiroki、SATO Yoichiro、WATANABE Tomio
    • Journal Title

      Journal of Advanced Mechanical Design, Systems, and Manufacturing

      Volume: 16 Pages: JAMDSM0058

    • DOI

      10.1299/jamdsm.2022jamdsm0058

    • Peer Reviewed / Open Access
  • [Journal Article] 高齢者の発話促進を目的とした発話単語のうなずき画像を用いた傾聴システム2022

    • Author(s)
      山崎 裕之,石井 裕,渡辺 富夫
    • Journal Title

      日本機械学会論文集

      Volume: 88 Pages: 22-00046

    • DOI

      10.1299/transjsme.22-00046

    • Peer Reviewed / Open Access
  • [Presentation] Human-entrained embodied interaction and communication technology2022

    • Author(s)
      Tomio Watanabe
    • Organizer
      2nd OPU-HsH Japanese-German Symposium (OHJG-2023)
    • Int'l Joint Research / Invited
  • [Presentation] Development of a Web-based Interview Support System Using Characters Nodding with Various Movements2022

    • Author(s)
      Yutaka Ishii, Satoshi Kurokawa, Miwako Kitamura, and Tomio Watanabe
    • Organizer
      Proc. of the 24th International Conference on Human-Computer Interaction (HCI International 2022),pp.76-87
    • Int'l Joint Research
  • [Presentation] Effects of virtual character's eye movements in reach motion on target prediction2022

    • Author(s)
      Liheng Yang, Yoshihiro Sejima, and Tomio Watanabe
    • Organizer
      Proc. of the 24th International Conference on Human-Computer Interaction (HCI International 2022), Volume 5, LNCS 13306, pp.162-171
    • Int'l Joint Research
  • [Presentation] Natural involvement to video conference through ARM-COMS2022

    • Author(s)
      Teruaki ITO and Tomio WATANABE
    • Organizer
      Human-Computer Interaction 2022,Lecture Notes in Computer Science, vol 13306
    • Int'l Joint Research
  • [Presentation] 場の盛り上がり推定モデルに基づくPupiloidの傾聴眼差し表現法の開発2022

    • Author(s)
      瀬島吉裕,橋本翔太,渡辺富夫
    • Organizer
      第23回計測自動制御学会システムインテグレーション部門講演会(SI2022)論文集, pp.3P2-B13
  • [Presentation] うなずきタイミングの遅延制御動画提示時の脳波計測による情動評価2022

    • Author(s)
      横田 真斗,石井 裕,渡辺 富夫
    • Organizer
      2022年度(第73回) 電気・情報関連学会中国支部連合大会,R22-25-23, pp.1-2
  • [Presentation] リフレクション機能を付加した臨床工学技士学生のための身体性アバターエージェント対話システムの開発2022

    • Author(s)
      片岡 真吾,西山 悠,石井 裕,高林 範子,渡辺 富夫
    • Organizer
      日本生体医工学会中国四国支部大会抄録集,pp.23
  • [Presentation] 音声から動作生成するキャラクタを重畳合成した映像対話システム2022

    • Author(s)
      渡辺 富夫,石井 裕
    • Organizer
      イノベーション・ジャパン2022
  • [Presentation] 仮想照明による情動をハイライト表現する音声駆動型瞳孔反応システム2022

    • Author(s)
      瀬島吉裕,川本宙輝,佐藤洋一郎,渡辺富夫
    • Organizer
      日本機械学会第32回設計工学・システム部門講演会, No.2311, pp.1-4
  • [Presentation] 臨床工学技士学生コミュニケーション教育支援のための身体性アバターエージェント対話システムの開発2022

    • Author(s)
      片岡 真吾,西山 悠,石井 裕,高林 範子,渡辺 富夫
    • Organizer
      日本機械学会第32回設計工学・システム部門講演会講演論文集,No.1408, pp.1-7
  • [Presentation] 発話単語のうなずき画像へのロボットの注視誘導による傾聴システムの開発2022

    • Author(s)
      山崎 裕之,石井 裕,渡辺 富夫
    • Organizer
      日本機械学会第32回設計工学・システム部門講演会講演論文集,No.1407, pp.1-5
  • [Presentation] 涙目ロボットにおける涙目の色彩表現による情動表出2022

    • Author(s)
      瀬島吉裕,木之本大樹,渡辺富夫
    • Organizer
      日本機械学会 2022年度年次大会, pp.J151-09
  • [Presentation] 影アバタを重畳合成したリフレクション機能を有する看護コミュニケーション教育支援システムの開発2022

    • Author(s)
      高林範子、石井裕、渡辺富夫
    • Organizer
      第4回看護人間工学会学術集会抄録集、p.18
  • [Presentation] 社会的孤立感の緩和を目的としたおもちゃのCGシミュレーションを用いた印象評価2022

    • Author(s)
      草替 悠希,北村 美和子,鈴木 暁,石井 裕,渡辺 富夫
    • Organizer
      ヒューマンインタフェースシンポジウム2022論文集, pp.104-109
  • [Presentation] エージェントとの対話機能を持つ歴史文化案内システムの開発2022

    • Author(s)
      近藤 景成,石井 裕,渡辺 富夫
    • Organizer
      ヒューマンインタフェースシンポジウム2022論文集, pp.124-127
  • [Presentation] 瞳孔反応のミラーリングによる音声駆動型身体的傾聴システムの評価2022

    • Author(s)
      瀬島吉裕,渡辺富夫
    • Organizer
      ヒューマンインタフェースシンポジウム2022講演論文集, pp.110-116
  • [Presentation] Web会議における聴講者の代役としての身体引き込みエージェントの開発2022

    • Author(s)
      片山 翔太,西山 悠,片岡 真吾,石井 裕,渡辺 富夫
    • Organizer
      ヒューマンインタフェース学会研究報告集,Vol.24, No.3, pp.243-246
  • [Remarks] 岡山県立大学情報工学部ヒューマンインタフェース研究室

    • URL

      http://hint.cse.oka-pu.ac.jp/

URL: 

Published: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi