• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Natural Conversation Motion Generation by Control Model Acquisition from Examples

Research Project

Project/Area Number 17K17713
Research Category

Grant-in-Aid for Young Scientists (B)

Allocation TypeMulti-year Fund
Research Field Entertainment and game informatics 1
Intelligent informatics
Research InstitutionTokyo Institute of Technology

Principal Investigator

Mitake Hironori  東京工業大学, 科学技術創成研究院, 助教 (30613939)

Project Period (FY) 2017-04-01 – 2019-03-31
Project Status Completed (Fiscal Year 2018)
Budget Amount *help
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2018: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
Fiscal Year 2017: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Keywords対話エージェント / 非言語コミュニケーション / 物理エンジン / 動作生成 / 視線提示 / モナリザ効果 / ディスプレイ / ジェスチャー / プロシージャルアニメーション / 視線提示ディスプレイ / VTuber / 会話エージェント / トルク変化最小モデル / 隠れマルコフモデル / ヒューマンエージェントインタラクション
Outline of Final Research Achievements

We aimed to realize motion generation for embodied conversational agents utilizing physics engine for natural synthesis of motion.
Firstly, we focused on "Forward Inverse Relaxation Model (FIRM)" of human hand reaching motion. We created physics engine based FIRM computation method, which is easy to use and generate smooth and natural motion. Also, we created motion design environment for creating characteristic behaviors of virtual agents utilizing physics engine based motion generation. On the other hand, facial expressions or voice pitch cannot be generated with physical simulation. Therefore, we also researched on HMM based machine learning method of conversation model based on real conversation examples.
Moreover, we also created new display for appropriate gaze expression of agents. With 2 layered LCD, we realized low-cost and high resolution display which can show eye-contact only for limited view position.

Academic Significance and Societal Importance of the Research Achievements

物理エンジンによる簡便なトルク変化最小軌道の生成手法は、計算の不安定性等の課題はあるが、力学的に理にかなった動作を自動的に行うキャラクタ動作生成手法の基盤に将来なりうる手法である事が確認できた。
また、物理エンジンを利用した動作デザイン環境を構築したことで、会話動作データを利用しつつ、キャラクタらしい動作調整を行って、自然な身体動作を持つ実用的な対話エージェントを実現するためのソフトウェア環境を実現することができた。
加えて、選択的な視線提示を可能にするディスプレイは安価な平面ディスプレイで従来不可能だった正しいアイコンタクトを実現するもので今後の普及が見込まれる。

Report

(3 results)
  • 2018 Annual Research Report   Final Research Report ( PDF )
  • 2017 Research-status Report
  • Research Products

    (12 results)

All 2019 2018 2017

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (10 results) (of which Int'l Joint Research: 1 results) Patent(Industrial Property Rights) (1 results)

  • [Journal Article] 静力学指標の最適化により静止姿勢を身体負荷のより少ない姿勢に改善するバーチャルデッサン人形2018

    • Author(s)
      江添正剛, 佐藤裕仁, 三武裕玄, 長谷川晶一
    • Journal Title

      画像電子学会誌

      Volume: 47 Pages: 382-390

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Presentation] Eye-Gaze Control of Virtual Agents Compensating Mona Lisa Effect2019

    • Author(s)
      Hsueh-Han Wu,Hironori Mitake,Shoichi Hasegawa
    • Organizer
      HAIシンポジウム2018
    • Related Report
      2018 Annual Research Report
  • [Presentation] 広い視聴範囲で美観を損ねずにモナリザ効果を排除できる二層式ディスプレイを用いた平面映像提示手法2019

    • Author(s)
      一居太朗,三武裕玄,立石和也,長谷川晶一
    • Organizer
      情報処理学会インタラクション2019
    • Related Report
      2018 Annual Research Report
  • [Presentation] 物体とのインタラクション時に体の硬さを自在に変えられるVTuberアバター2019

    • Author(s)
      杉森健,三武裕玄,佐藤裕仁,長谷川晶一
    • Organizer
      情報処理学会インタラクション2019
    • Related Report
      2018 Annual Research Report
  • [Presentation] 視線と身体を用いたインタラクティブキャラクタシステムとその編集インタフェースの構築2019

    • Author(s)
      佐藤裕仁,三武裕玄,杉森健,長谷川晶一
    • Organizer
      情報処理学会インタラクション2019
    • Related Report
      2018 Annual Research Report
  • [Presentation] 視線と動作により人の注意を引きつけるエージェントの実現2018

    • Author(s)
      呉學翰, 三武裕玄, 長谷川晶一
    • Organizer
      第23回日本バーチャルリアリティ学会大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] キャラクタを用いたデジタルサイネージが通行人の注意を引きつけるための視線制御2018

    • Author(s)
      三武裕玄, 呉學翰, 長谷川晶一
    • Organizer
      エンタテインメントコンピューティング2018
    • Related Report
      2018 Annual Research Report
  • [Presentation] Conversational Agent Learning Natural Gaze and Motion of Multi-Party Conversation from Example2017

    • Author(s)
      Shuzi Zou, Kento Kuzushima, Hironori Mitake, Shoichi Hasegawa
    • Organizer
      Proceedings of the 5th International Conference on Human Agent Interaction
    • Related Report
      2017 Research-status Report
    • Int'l Joint Research
  • [Presentation] 対話事例に基づく機械学習を用いた同調的表情を提示する対話エージェント2017

    • Author(s)
      薮下剛史, 三武裕玄, 長谷川晶一
    • Organizer
      エンタテインメントコンピューティングシンポジウム2017
    • Related Report
      2017 Research-status Report
  • [Presentation] 実会話事例の機械学習により相手の話し方に合わせた音声応答を行う対話エージェント2017

    • Author(s)
      平沼英翔, 三武裕玄, 長谷川晶一
    • Organizer
      エンタテインメントコンピューティングシンポジウム2017
    • Related Report
      2017 Research-status Report
  • [Presentation] トルク変化最小軌道に基づくキャラクターの自然な動作の自動生成2017

    • Author(s)
      佐藤裕仁, 三武裕玄, 長谷川晶一
    • Organizer
      エンタテインメントコンピューティングシンポジウム2017
    • Related Report
      2017 Research-status Report
  • [Patent(Industrial Property Rights)] 視線表示方法及び視線表示装置2019

    • Inventor(s)
      三武裕玄
    • Industrial Property Rights Holder
      三武裕玄
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2019-010703
    • Filing Date
      2019
    • Related Report
      2018 Annual Research Report

URL: 

Published: 2017-04-28   Modified: 2020-03-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi