Natural Conversation Motion Generation by Control Model Acquisition from Examples

2018 Fiscal Year Final Research Report

• Project/Area Number: 17K17713
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Multi-year Fund
• Research Field: Entertainment and game informatics 1; Intelligent informatics
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: Mitake Hironori 東京工業大学, 科学技術創成研究院, 助教 (30613939)
• Project Period (FY): 2017-04-01 – 2019-03-31
• Keywords: 対話エージェント / 非言語コミュニケーション / 物理エンジン / 動作生成 / 視線提示 / モナリザ効果 / ディスプレイ

Outline of Final Research Achievements

We aimed to realize motion generation for embodied conversational agents utilizing physics engine for natural synthesis of motion.
Firstly, we focused on "Forward Inverse Relaxation Model (FIRM)" of human hand reaching motion. We created physics engine based FIRM computation method, which is easy to use and generate smooth and natural motion. Also, we created motion design environment for creating characteristic behaviors of virtual agents utilizing physics engine based motion generation. On the other hand, facial expressions or voice pitch cannot be generated with physical simulation. Therefore, we also researched on HMM based machine learning method of conversation model based on real conversation examples.
Moreover, we also created new display for appropriate gaze expression of agents. With 2 layered LCD, we realized low-cost and high resolution display which can show eye-contact only for limited view position.

Free Research Field

バーチャルクリーチャ、キャラクタ動作生成、対話エージェント

Academic Significance and Societal Importance of the Research Achievements

物理エンジンによる簡便なトルク変化最小軌道の生成手法は、計算の不安定性等の課題はあるが、力学的に理にかなった動作を自動的に行うキャラクタ動作生成手法の基盤に将来なりうる手法である事が確認できた。
また、物理エンジンを利用した動作デザイン環境を構築したことで、会話動作データを利用しつつ、キャラクタらしい動作調整を行って、自然な身体動作を持つ実用的な対話エージェントを実現するためのソフトウェア環境を実現することができた。
加えて、選択的な視線提示を可能にするディスプレイは安価な平面ディスプレイで従来不可能だった正しいアイコンタクトを実現するもので今後の普及が見込まれる。