Natural Conversation Motion Generation by Control Model Acquisition from Examples
| Project/Area Number |
17K17713
|
|---|
| Research Category |
Grant-in-Aid for Young Scientists (B)
|
| Allocation Type | Multi-year Fund |
|---|
| Research Field |
Entertainment and game informatics 1
Intelligent informatics
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
Mitake Hironori 東京工業大学, 科学技術創成研究院, 助教 (30613939)
|
|---|
| Project Period (FY) |
2017-04-01 – 2019-03-31
|
| Project Status |
Completed (Fiscal Year 2018)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2018: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
Fiscal Year 2017: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
|
|---|
| Keywords | 対話エージェント / 非言語コミュニケーション / 物理エンジン / 動作生成 / 視線提示 / モナリザ効果 / ディスプレイ / ジェスチャー / プロシージャルアニメーション / 視線提示ディスプレイ / VTuber / 会話エージェント / トルク変化最小モデル / 隠れマルコフモデル / ヒューマンエージェントインタラクション |
|---|
| Outline of Final Research Achievements |
We aimed to realize motion generation for embodied conversational agents utilizing physics engine for natural synthesis of motion.
Firstly, we focused on "Forward Inverse Relaxation Model (FIRM)" of human hand reaching motion. We created physics engine based FIRM computation method, which is easy to use and generate smooth and natural motion. Also, we created motion design environment for creating characteristic behaviors of virtual agents utilizing physics engine based motion generation. On the other hand, facial expressions or voice pitch cannot be generated with physical simulation. Therefore, we also researched on HMM based machine learning method of conversation model based on real conversation examples.
Moreover, we also created new display for appropriate gaze expression of agents. With 2 layered LCD, we realized low-cost and high resolution display which can show eye-contact only for limited view position.
|
| Academic Significance and Societal Importance of the Research Achievements |
物理エンジンによる簡便なトルク変化最小軌道の生成手法は、計算の不安定性等の課題はあるが、力学的に理にかなった動作を自動的に行うキャラクタ動作生成手法の基盤に将来なりうる手法である事が確認できた。
また、物理エンジンを利用した動作デザイン環境を構築したことで、会話動作データを利用しつつ、キャラクタらしい動作調整を行って、自然な身体動作を持つ実用的な対話エージェントを実現するためのソフトウェア環境を実現することができた。
加えて、選択的な視線提示を可能にするディスプレイは安価な平面ディスプレイで従来不可能だった正しいアイコンタクトを実現するもので今後の普及が見込まれる。
|
Report
(3 results)
Research Products
(12 results)
