• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2013 Fiscal Year Annual Research Report

聞き上手な引き込みに基づく身体的インタラクションシステム

Publicly Offered Research

Project AreaFounding a creative society via collaboration among humans and robots
Project/Area Number 24118707
Research InstitutionOkayama Prefectural University

Principal Investigator

渡邉 富夫  岡山県立大学, 情報工学部, 教授 (30167150)

Project Period (FY) 2012-04-01 – 2014-03-31
Keywordsヒューマンインタフェース / ヒューマンインタラクション / ロボット / 身体性 / 引き込み
Research Abstract

聞き上手になれる情報処理の基礎技術の開発を目指して、うなずきや身振りなどの身体的リズムの引き込みをロボットやCGキャラクタのメディアに導入することで、一体感が実感できる聞き上手な引き込みに基づく身体的インタラクションシステムを研究開発した。その主な成果は以下の通りである。
(1)アクティブ・アピアランス・モデルを用いた頭部動作認識によるうなずき検出システム
うなずき計測実験により対面コミュニケーション時のうなずきとして頭部動作を解析し、その解析結果に基づいて3種類のうなずき検出モデルを提案した。これらのモデルでは、アクティブ・アピアランス・モデルによるフェイストラッキングから推定される頭部の姿勢・回転運動に基づき、うなずき検出を行っている。さらに、提案したモデルを適用したうなずき検出システムを開発した。開発したシステムを用いたうなずきの評価実験を行い、提案モデルおよび開発したシステムの有効性を示した。
(2)キャラクタと一緒に学ぶ映像学習支援システムの開発
映像学習において効果的なインタラクション支援を実現するために、映像に音声駆動型身体的引き込みキャラクタInterActorと自己アバタを重畳合成した映像学習支援システムのプロトタイプを開発した。本システムでは、表示ウィンドウの中央付近に授業映像を配置し、その下部に3 体の背面CG キャラクタを映像領域に対面して並列配置している。3 体のうち中央に配置したキャラクタにユーザの頭部動作を反映させることで、その1体を自己のアバタとし、両脇のキャラクタをInterActorとして,映像音声に対しての聞き手の身体動作を生成している。本システムでは、自己アバタおよび同じ空間内で学習するキャラクタにより身体的インタラクションの場を生成することで、場とのかかわりによる一体感・共有感を実感させながら、学習意欲を促進させる。

Current Status of Research Progress
Reason

25年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

25年度が最終年度であるため、記入しない。

  • Research Products

    (16 results)

All 2013 Other

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (15 results)

  • [Journal Article] 教師と生徒のInterActorを一人二役で演じるエデュテインメントシステムの開発2013

    • Author(s)
      山本倫也、渡辺富夫
    • Journal Title

      情報処理学会論文誌

      Volume: 54,4 Pages: 1677-1685

    • Peer Reviewed
  • [Presentation] 口唇運動駆動型身体的引き込みキャラクタシステム2013

    • Author(s)
      中村一暁、渡辺富夫、神代充
    • Organizer
      第15回IEEE広島支部学生シンポジウム
    • Place of Presentation
      鳥取大学
    • Year and Date
      20131116-20131117
  • [Presentation] 実映像対話を支援する音声駆動型身体的引き込みキャラクタシステム2013

    • Author(s)
      中山志穂、渡辺富夫、石井裕
    • Organizer
      第15回IEEE広島支部学生シンポジウム
    • Place of Presentation
      鳥取大学
    • Year and Date
      20131116-20131117
  • [Presentation] 親子で楽しむE-Vchat-身体的引き込みでつながる対話空間-2013

    • Author(s)
      中山志穂、渡辺富夫、石井裕
    • Organizer
      第10回子ども学会議
    • Place of Presentation
      岡山県立大学
    • Year and Date
      20131012-20131013
  • [Presentation] キャラクタと一緒に学ぶ映像学習支援システムの開発2013

    • Author(s)
      中村一暁、渡辺富夫、石井裕
    • Organizer
      第10回子ども学会議
    • Place of Presentation
      岡山県立大学
    • Year and Date
      20131012-20131013
  • [Presentation] Evaluation of Superimposed Self-character Based on the Detection of Talkers’ Face Angles in Video Communication

    • Author(s)
      Yutaka Ishii and Tomio Watanabe
    • Organizer
      the 15th International Conference on Human-Computer Interaction (HCII 2013)
    • Place of Presentation
      Las Vegas, NV, USA
  • [Presentation] A Superimposed Self-Character Mediated Video Chat System with the Function of Face-to-face Projection based on Talker’s Face Direction

    • Author(s)
      Yutaka Ishii, Shiho Nakayama and Tomio Watanabe
    • Organizer
      the 22nd IEEE International Symposium on Robot and Human Interactive Communication (2013 IEEE RO-MAN)
    • Place of Presentation
      Gyeongju, Korea
  • [Presentation] Eyeball Movement Model for Lecturer Character in Speech-driven Embodied Group Entrainment System

    • Author(s)
      Yoshihiro Sejima, Tomio Watanabe, Mitsuru Jindai and Atsushi Osa
    • Organizer
      IEEE International Symposium on Multimedia (ISM2013)
    • Place of Presentation
      Anaheim Marriott Anaheim, California USA
  • [Presentation] Development of Nodding Detection System Based on Active Appearance Model

    • Author(s)
      Kazuaki Nakamura, Tomio Watanabe and Mitsuru Jindai
    • Organizer
      the 2013 IEEE/SICE International Symposium on System Integration (SII2013)
    • Place of Presentation
      Kobe International Conferen
  • [Presentation] Video Communication System with Speech-Driven Embodied Entrainment Audience Characters with Partner's Face

    • Author(s)
      Shiho Nakayama, Tomio Watanabe and Yutaka Ishii
    • Organizer
      the 2013 IEEE/SICE International Symposium on System Integration (SII2013)
    • Place of Presentation
      Kobe International Conference Center
  • [Presentation] 音声駆動型身体的引き込み観客キャラクタに対話相手顔画像を合成した実映像対話システムの開発

    • Author(s)
      中山志穂、渡辺富夫、石井裕
    • Organizer
      第12 回情報科学技術フォーラム(FIT2013)
    • Place of Presentation
      鳥取大学
  • [Presentation] アクティブ・アピアランス・モデルに基づくうなずき検出システムの開発

    • Author(s)
      中村一暁、渡辺富夫、神代充
    • Organizer
      日本機械学会2013年度年次大会
    • Place of Presentation
      岡山大学
  • [Presentation] 対話者顔方向検出に基づく自己キャラクタ対面合成による実映像対話システム

    • Author(s)
      中山志穂、石井裕、渡辺富夫
    • Organizer
      ヒューマンインタフェースシンポジウム2013
    • Place of Presentation
      早稲田大学(西早稲田キャンパス)
  • [Presentation] アバタを介した合意形成対話を支援する音声駆動型身体的引き込み影法師システム

    • Author(s)
      井上翔太、渡辺富夫、石井裕
    • Organizer
      ヒューマンインタフェースシンポジウム2013
    • Place of Presentation
      早稲田大学(西早稲田キャンパス)
  • [Presentation] アクティブ・アピアランス・モデルを用いた口唇運動駆動型身体的引き込みキャラクタシステムの開発

    • Author(s)
      中村一暁、渡辺富夫、神代充
    • Organizer
      第12 回情報科学技術フォーラム(FIT2013)
    • Place of Presentation
      鳥取大学
  • [Presentation] 対戦型テーブルゲームにおける音声駆動型身体的引き込みチェアシステムの評価

    • Author(s)
      立石侑麻、渡辺富夫、石井裕
    • Organizer
      第14回 計測自動制御学会 システムインテグレーション部門講演会 (SI2013)
    • Place of Presentation
      神戸国際会議場

URL: 

Published: 2015-05-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi