• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Communication support system with self-embodied avatar

Research Project

Project/Area Number 16K00278
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Research Field Human interface and interaction
Research InstitutionOkayama Prefectural University

Principal Investigator

Ishii Yutaka  岡山県立大学, 情報工学部, 准教授 (30372642)

Project Period (FY) 2016-04-01 – 2020-03-31
Project Status Completed (Fiscal Year 2019)
Budget Amount *help
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2018: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2017: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2016: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Keywordsヒューマンインタフェース / アバタコミュニケーション / インタラクション支援 / 身体的インタラクション / コミュニケーション支援
Outline of Final Research Achievements

In this paper, we developed an embodied avatar-shadow system, and demonstrate the effectiveness of avatar-shadow's existence, and auto-generated nodding response. This system is constructed by talkers' avatars based on their own motions, and their avatar-shadows based on their own motions and auto-generated entrained motions. Then we developed a system in which the avatar-shadows and plant-type objects react in the same virtual space, and confirmed the effectiveness for both the speaker and the listener. We also developed and confirmed the effectiveness of an avatar shadow color system that expresses excitement based on dialogue speech.
In addition, we developed a speech support system based on a noisy environment generated by arranging a listener's character and multiple non-participant characters that are not involved in the conversation. As a result, we verified the effect on the speech by changing the volume of the noise and selecting an appropriate volume in individuals for users.

Academic Significance and Societal Importance of the Research Achievements

本研究は,通常行われている人同士の身体的コミュニケーションを背景に,遠隔においてもより効果的な対話を支援する身体的アバタを介したシステムの研究開発を進めた.音声に基づく反応動作の自動生成によるインタラクション支援は,アバタを介した対話においても有効に活用できる手法として確認できた.新型コロナウイルスの影響による遠隔でのオンラインコミュニケーション機会が日常化し,新たな社会生活様式として定着しつつある.本研究で得られた知見は,話者自身と対話相手との身体的な関係性において,同一空間内でかかわりが捉えられる手法によって遠隔でも時空間を共有し,つながりを実感できるシステム構築に貢献するものである.

Report

(5 results)
  • 2019 Annual Research Report   Final Research Report ( PDF )
  • 2018 Research-status Report
  • 2017 Research-status Report
  • 2016 Research-status Report
  • Research Products

    (39 results)

All 2019 2018 2017 2016

All Journal Article (7 results) (of which Peer Reviewed: 7 results,  Open Access: 4 results,  Acknowledgement Compliant: 1 results) Presentation (32 results) (of which Int'l Joint Research: 5 results,  Invited: 1 results)

  • [Journal Article] An embodied communication system with avatar-shadow’s color expressions based on an interaction-activated communication model in voice communication2019

    • Author(s)
      SEJIMA Yoshihiro、ISHII Yutaka、WATANABE Tomio
    • Journal Title

      Transactions of the JSME (in Japanese)

      Volume: 85 Issue: 873 Pages: 18-00074-18-00074

    • DOI

      10.1299/transjsme.18-00074

    • NAID

      130007653330

    • ISSN
      2187-9761
    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Evaluation of Synchronized Display of Input Strings and Emotional Expressions and Motions in the Typing-Driven Embodied Entrainment Character Chat System2018

    • Author(s)
      服部 憲治,石井 裕,渡辺 富夫
    • Journal Title

      The Transactions of Human Interface Society

      Volume: 20 Issue: 1 Pages: 45-56

    • DOI

      10.11184/his.20.1_45

    • NAID

      130006401346

    • ISSN
      1344-7262, 2186-8271
    • Related Report
      2017 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] タイピング駆動型身体引き込みキャラクタチャットシステムにおけるテキストの実時間入力状態表示手法2017

    • Author(s)
      服部 憲治,渡辺 富夫,石井 裕
    • Journal Title

      ヒューマンインタフェース学会論文誌

      Volume: 19 Pages: 141-150

    • NAID

      130007528533

    • Related Report
      2017 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] リフレクション機能を付加した看護コミュニケーション教育支援システム2017

    • Author(s)
      高林 範子,石井 裕,渡辺 富夫
    • Journal Title

      人間工学

      Volume: 53 Pages: 167-177

    • NAID

      130007604382

    • Related Report
      2017 Research-status Report
    • Peer Reviewed
  • [Journal Article] 発話内単語の感情極性に基づき反応動作を行う身体的引き込みキャラクタシステム2017

    • Author(s)
      西田麻希子、太田 靖宏、渡辺富夫、石井裕
    • Journal Title

      日本機械学会論文集

      Volume: Vol. 83,No. 846 Pages: 1-14

    • NAID

      130005402122

    • Related Report
      2016 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] アバタを介したコミュニケーションを支援する身体的引き込みアバタ影システム2016

    • Author(s)
      石井裕、江崎敬三、渡辺富夫
    • Journal Title

      ヒューマンインタフェース学会論文誌

      Volume: Vol.18,No.3 Pages: 246-259

    • NAID

      130007671496

    • Related Report
      2016 Research-status Report
    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] アバタに微笑みと眼球モデルを付加した看護コミュニケーション教育支援システム2016

    • Author(s)
      高林範子、山本真代、小野光貴、渡辺富夫、石井裕
    • Journal Title

      人間工学

      Volume: Vol.52, No.3 Pages: 112-123

    • Related Report
      2016 Research-status Report
    • Peer Reviewed
  • [Presentation] Development of an Embodied Group Entrainment Response System to Express Interaction-Activated Communication2019

    • Author(s)
      Ishii, Y. and Watanabe, T.
    • Organizer
      Proc. of 21st International Conference on Human-Computer Interaction (HCI International 2019)
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 講演者の視線と発話に基づく積極的傾聴キャラクタを用いた没入型講演体験システムの開発2019

    • Author(s)
      石坂 諒任,渡辺 富夫,石井 裕
    • Organizer
      情報処理学会第81回全国大会講演論文集
    • Related Report
      2019 Annual Research Report
  • [Presentation] 複数非参与者による雑音環境下での聞き手キャラクタのうなずきと音声相槌の効果2019

    • Author(s)
      石坂 諒任,渡辺 富夫,石井 裕
    • Organizer
      ヒューマンインタフェース学会研究報告集
    • Related Report
      2019 Annual Research Report
  • [Presentation] 聞き手キャラクタへの語りかけにおける複数非参与者による喧騒音と環境雑音提示の検討2019

    • Author(s)
      石坂 諒任,渡辺 富夫,石井 裕
    • Organizer
      ヒューマンインタフェースシンポジウム2019論文集
    • Related Report
      2019 Annual Research Report
  • [Presentation] 発話音声に対して身体引き込み反応を行うアバタ影および植物型オブジェクトの官能評価2019

    • Author(s)
      國田 栞,石井 裕,渡辺 富夫
    • Organizer
      ヒューマンインタフェースシンポジウム2019論文集
    • Related Report
      2019 Annual Research Report
  • [Presentation] Development of a Speech-Driven Embodied Entrainment Character System with a Back-Channel Feedback2018

    • Author(s)
      Ishii, Y., Nishida, M. and Watanabe, T
    • Organizer
      dvances in Affective and Pleasurable Design. AHFE 2018. Advances in Intelligent Systems and Computing
    • Related Report
      2018 Research-status Report
    • Int'l Joint Research
  • [Presentation] 聞き手身体引き込みキャラクタの膨張と交代による発話伝達・蓄積表現の効果2018

    • Author(s)
      桂木 章吾,渡辺 富夫,石井 裕
    • Organizer
      第20回IEEE広島支部学生シンポジウム論文集
    • Related Report
      2018 Research-status Report
  • [Presentation] 看護コミュニケーション教育支援システムにおけるアイトラッキング機能の検討2018

    • Author(s)
      高林 範子,國田 栞,石井 裕,渡辺 富夫
    • Organizer
      第26回看護人間工学部会研究発表会
    • Related Report
      2018 Research-status Report
  • [Presentation] 発話活性度および感情極に基づき反応動作を行う身体的引き込みキャラクタシステムの開発2018

    • Author(s)
      西田 麻希子,渡辺 富夫,石井 裕
    • Organizer
      日本機械学会2018年度年次大会講演論文集
    • Related Report
      2018 Research-status Report
  • [Presentation] 就職模擬面接による身体引き込み観客キャラクタを用いた実映像対話システムの評価2018

    • Author(s)
      國田 栞,石井 裕,渡辺 富夫
    • Organizer
      ヒューマンインタフェースシンポジウム2018論文集
    • Related Report
      2018 Research-status Report
  • [Presentation] 聞き手キャラクタと発話単語オブジェクトを用いた身体引き込み発話促進システムの開発2018

    • Author(s)
      窪田 正勝,渡辺 富夫,石井 裕
    • Organizer
      ヒューマンインタフェースシンポジウム2018論文集
    • Related Report
      2018 Research-status Report
  • [Presentation] 話し手と聞き手を表す身体引き込みキャラクタを用いた発話伝達・蓄積表現の効果2018

    • Author(s)
      桂木 章吾,渡辺 富夫,石井 裕
    • Organizer
      ヒューマンインタフェースシンポジウム2018論文集
    • Related Report
      2018 Research-status Report
  • [Presentation] 生体反応リフレクションによる看護コミュニケーション支援システムの評価2018

    • Author(s)
      國田 栞,高林 範子,渡辺 富夫,石井 裕
    • Organizer
      ヒューマンインタフェース学会研究報告集
    • Related Report
      2018 Research-status Report
  • [Presentation] 発話単語の身体引き込みオブジェクトを用いた思い出想起促進システムの開発2018

    • Author(s)
      窪田 正勝,渡辺 富夫,石井 裕
    • Organizer
      ヒューマンインタフェース学会研究報告集
    • Related Report
      2018 Research-status Report
  • [Presentation] 思いの伝達を表現する身体引き込みキャラクタを用いた発話促進システムの開発2018

    • Author(s)
      桂木 章吾,渡辺 富夫,石井 裕
    • Organizer
      ヒューマンインタフェース学会研究報告集
    • Related Report
      2018 Research-status Report
  • [Presentation] Development of an Immersive Presentation Experience System that Audience Characters Nod for Lecturer's Utterance2017

    • Author(s)
      K. Tanaka, T. Watanabe and Y. Ishii
    • Organizer
      International Conference on Design and Concurrent Engineering 2017 & Manufacturing Systems Conference 2017
    • Related Report
      2017 Research-status Report
    • Int'l Joint Research
  • [Presentation] Development of a Handwave Robot Expressing Intentions with Hand-waving2017

    • Author(s)
      K. Ikeda, Y. Ishii and T. Watanabe
    • Organizer
      International Conference on Design and Concurrent Engineering 2017 & Manufacturing Systems Conference 2017
    • Related Report
      2017 Research-status Report
    • Int'l Joint Research
  • [Presentation] タイピング駆動型身体引き込みキャラクタシステムにおけるテキストおよび情動表現同期表示手法の開発2017

    • Author(s)
      服部 憲治,岩佐 厚郎,渡辺 富夫,石井 裕
    • Organizer
      電子情報通信学会技術研究報告
    • Related Report
      2017 Research-status Report
  • [Presentation] 全観客キャラクタが講演者発話にうなずく没入型講演体験システムの開発2017

    • Author(s)
      田中 一也,渡辺 富夫,石井 裕
    • Organizer
      情報処理学会第79回全国大会講演論文集(4)
    • Related Report
      2017 Research-status Report
  • [Presentation] 講演者の視線に応じて観客キャラクタが積極的に傾聴する没入型講演体験システムの開発2017

    • Author(s)
      田中 一也,渡辺 富夫,石井 裕
    • Organizer
      ヒューマンインタフェースシンポジウム2017
    • Related Report
      2017 Research-status Report
  • [Presentation] 没入型講演体験システムにおけるリフレクション機能の開発2017

    • Author(s)
      田中 一也,渡辺 富夫,石井 裕
    • Organizer
      第16回情報科学技術フォーラム
    • Related Report
      2017 Research-status Report
  • [Presentation] 場の盛り上がり推定モデルに基づく身体性アバタ影色表現システム2017

    • Author(s)
      瀬島 吉裕,石井 裕,渡辺 富夫
    • Organizer
      日本機械学会第27回設計工学・システム部門講演会
    • Related Report
      2017 Research-status Report
  • [Presentation] うなずきに相槌の音声応答を伴う音声駆動型身体的引き込みキャラクタシステムの評価2017

    • Author(s)
      則武將治、渡辺富夫、石井裕
    • Organizer
      第19回IEEE広島支部学生シンポジウム論文集
    • Related Report
      2017 Research-status Report
  • [Presentation] 音声駆動型身体引き込みキャラクタによる対話エージェントの開発2017

    • Author(s)
      吉田実央、石井裕、渡辺富夫
    • Organizer
      HAIシンポジウム2017
    • Related Report
      2017 Research-status Report
  • [Presentation] 顔認識機能を有する音声駆動型身体的インタラクションロボット KAMEの開発2016

    • Author(s)
      岸本祐典、渡辺富夫、石井裕
    • Organizer
      第17回システムインテグレーション部門講演会(SI2016)
    • Place of Presentation
      札幌コンベンションセンター
    • Year and Date
      2016-12-15
    • Related Report
      2016 Research-status Report
  • [Presentation] タイピング駆動型身体的引き込みキャラクタチャットシステムにおける情動表現提示タイミングの評価2016

    • Author(s)
      岩佐厚郎、服部憲治、渡辺富夫、石井裕
    • Organizer
      HAIシンポジウム2016
    • Place of Presentation
      東京大学 駒場キャンパス21KOMCEE
    • Year and Date
      2016-12-03
    • Related Report
      2016 Research-status Report
  • [Presentation] 音声駆動型身体的引き込みチェアシステムを用いた動画視聴におけるうなずき反応の体感提示タイミングの評価2016

    • Author(s)
      今枝悠真、辻智啓、渡辺富夫、石井裕
    • Organizer
      ヒューマンインタフェース学会研究会
    • Place of Presentation
      関西学院大学大阪梅田キャンパス
    • Year and Date
      2016-11-25
    • Related Report
      2016 Research-status Report
  • [Presentation] うなずきに相槌の音声を伴う音声駆動型身体的引き込みキャラクタシステムの開発2016

    • Author(s)
      松島正典、廣中達也、石井裕、渡辺富夫
    • Organizer
      第18回IEEE広島支部学生シンポジウム
    • Place of Presentation
      山口大学 工学部
    • Year and Date
      2016-11-19
    • Related Report
      2016 Research-status Report
  • [Presentation] Development of an Embodied Avatar System using Avatar-Shadow’s Color Expressions with an Interaction-activated Communication Model2016

    • Author(s)
      Yutaka Ishii, Tomio Watanabe and Yoshihiro Sejima
    • Organizer
      the 4th International Conference on Human-Agent Interaction (HAI 2016)
    • Place of Presentation
      Singapore
    • Year and Date
      2016-10-04
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] 音声駆動型身体引き込み観客キャラクタを用いた没入できる講演体験システムの開発2016

    • Author(s)
      田中一也、渡辺富夫、石井裕
    • Organizer
      ヒューマンインタフェースシンポジウム2016
    • Place of Presentation
      東京農工大学 小金井キャンパス
    • Year and Date
      2016-09-06
    • Related Report
      2016 Research-status Report
  • [Presentation] 対面時の手振り動作計測に基づく3Dハンドキャラクタの開発2016

    • Author(s)
      池田香織、石井裕、渡辺富夫
    • Organizer
      ヒューマンインタフェースシンポジウム2016
    • Place of Presentation
      東京農工大学 小金井キャンパス
    • Year and Date
      2016-09-06
    • Related Report
      2016 Research-status Report
  • [Presentation] 音声駆動型身体的インタラクションロボットKAMEの開発2016

    • Author(s)
      岸本祐典、渡辺富夫、石井裕
    • Organizer
      ロボティクス・メカトロニクス講演会2016
    • Place of Presentation
      パシフィコ横浜 展示ホールA
    • Year and Date
      2016-06-09
    • Related Report
      2016 Research-status Report
    • Invited

URL: 

Published: 2016-04-21   Modified: 2021-02-19  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi