生理的情報に基づく擬人化エージェントとの効果的なインタラクションモデル

• 研究課題/領域番号: 17680013
• 研究種目: 若手研究(A)
• 配分区分: 補助金
• 研究分野: 知能情報学
• 研究機関: 国立情報学研究所
• 研究代表者: HELMUT Plendinger (HELMUT PRENDINGER / HELMUT Prendinger) 国立情報学研究所, コンテンツ科学研究系, 准教授 (40390596)
• 研究期間 (年度): 2005 – 2007
• 研究課題ステータス: 完了 (2007年度)
• 配分額: 24,440千円 (直接経費: 18,800千円、間接経費: 5,640千円); 2007年度: 7,410千円 (直接経費: 5,700千円、間接経費: 1,710千円); 2006年度: 5,460千円 (直接経費: 4,200千円、間接経費: 1,260千円); 2005年度: 11,570千円 (直接経費: 8,900千円、間接経費: 2,670千円)
• キーワード: ユーザインタフェース / 人工知能 / エージェント / 感性情報学 / モデル化 / ユーザインターフェース / インテリジェントユーザインタフェース / マルチモダリティ / 擬人化エージェント

研究概要

本プロジェクトの目的は、ユーザの感情状態や興味に的確に対応する新しいタイプのコミュニケーションモデルを実現することであった。このプロジェクトの重要な特徴は以下のとおりである。
・ ユーザの感情の状態を認識するために生体信号とテキストを利用する。
・ ユーザの興味の状態(「視覚的注意」能力)を認識するために眼球運動分析を利角する。
・ ユーザとのインタラクションに仮想エージェントを用いる。
本プロジェクトの重要な成果は以下のとおりである。
・ 実時間で生体信号を処理し、それらを頑健かつ正確にユーザの感情状態として解釈するという感情ベースの新たなインタラクションモデル。実現されたシステムでは、インタラクティブなゲームにおいて、仮想エージェントがユーザの感情に適切な反応を提供する。実証研究により、このシステムの有効性を示した。
ユーザとの実時間インタラクションを実現するために、Multimodal Presentation Markup Language(MPML)の新バージョンを設計および実装する必要があった。その結果として開発したMPML3Dオーサリング言語は、反応(reactive)型モデルに基づいており、それによりユーザや他の仮想エージェントインタフェースから入力がプレゼンテーションの最中にいつでも可能なため、自然で自由なインタラクションを実現できる。MPML3Dは現在、最も強力で柔軟性のあるオーサリング言語であり、専門家以外の人でも使いやすいものである。
・ 開発した「Visual Attentive Presentation Agents(注視プレゼンテーションエージェント)」システムは、ロスアンゼルス(アメリカ合衆国)で開催された第6回International Conference on Intelligent Virtual Agents(IVA'06)においてGALA Award2006を受賞した(「Lifelike Agent Application」部門)。
・ 国際的学術論文8本(ヨーロッパのもの1本を含む)、国際会議論文28本、国際ワークショップ論文4本、国際デモ論文1件。

研究成果

• [雑誌論文] Linguistic interpretation of emotions for affect sensing (2008)
  • 著者名/発表者名: Mostafa Shaikh
  • 雑誌名: Proceedings of The Third International Joint Conference on Natural Language Processing(IJCNLP-08), Hyderabad, India ページ: 895-900
  • 査読あり
• [雑誌論文] Phase-based gesture motion parametrization and transitions for convers ational agents with MPML3D (2008)
  • 著者名/発表者名: Klaus Briigmann
  • 雑誌名: Proceedings 2nd International Conference on INtelligent TEchnologies for interactive enterTAINment(INTETAIN-08), Playa del Carmen, Cancun Mexico (ACM Digital Library)
  • 査読あり
• [雑誌論文] Emotion sensitive news agent: An approach towards user centric emotion sensing from the news (2007)
  • 著者名/発表者名: Mostafa Shaikh
  • 雑誌名: The 2007 IEEE/WIC/ACM International Conference on Web Intelligence(WI-07), Silicon Valley, USA ページ: 614-620
  • 査読あり
• [雑誌論文] Automated generation of non-verbal behavior for virtual embodied characters (2007)
  • 著者名/発表者名: Werner Breitfub
  • 雑誌名: Proceedings 9th International Conference on Multimodal Interfaces(ICMI-07), Nagoya, Japan ページ: 319-322
  • 査読あり
• [雑誌論文] Interest estimation based on dynamic Bayesian networks for visual attentive presentation agents (2007)
  • 著者名/発表者名: Boris Brandherm
  • 雑誌名: Proceedings 9th International Conference on Multimodal Interfaces(ICMI-07), Nagoya, Japan ページ: 346-349
  • 査読あり
• [雑誌論文] Rules of emotions: a linguistic interpretation of an emotion model for affect sensing from texts (2007)
  • 著者名/発表者名: Mostafa Shaikh
  • 雑誌名: Affective Computing and Intelligent Interaction Proceedings 2nd International Conference on Affective Computing and Intelligent Interaction(ACII-07), Lisbon, Portugal 4738/2007 ページ: 737-738
  • 査読あり
• [雑誌論文] Assessing sentiment of text by semantic dependency and contextual valence analysis (2007)
  • 著者名/発表者名: Mostafa Shaikh
  • 雑誌名: Affective Computing and Intelligent Interaction Proceedings 2nd International Conference on Affective Computing and Intelligent Interaction(ACII-07), Lisbon, Portugal 4738/2007 ページ: 191-202
  • 査読あり
• [雑誌論文] Textual affect sensing for sociable and expressive online communication (2007)
  • 著者名/発表者名: Alena Neviarouskaya
  • 雑誌名: Second International Conference, ACII 2007 Lisbon, Portugal, September 12-14, 2007 Proceedings 4738/2007 ページ: 218-229
  • 査読あり
• [雑誌論文] An expressive avatar for instant messaging endowed with emotional intelligence (2007)
  • 著者名/発表者名: Alena Neviarouskaya
  • 雑誌名: Proceedings 7th International Conference on Intelligent Virtual Agents(IVA-07), Paris, France 4722/2007 ページ: 395-396
  • 査読あり
• [雑誌論文] T2D: Generating dialogues between virtual agents automatically (2007)
  • 著者名/発表者名: Paul Piwek
  • 雑誌名: Proceedings 7th International Conference on Intelligent Virtual Agents(IVA-07), Paris, France 4722/2007 ページ: 161-174
  • 査読あり
• [雑誌論文] Attentive presentation agents (2007)
  • 著者名/発表者名: Tobias Eichner
  • 雑誌名: Proceedings 7th International Conference on Intelligent Virtual Agents(IVA-07)}, Paris, France 4722/2007 ページ: 283-295
  • 査読あり
• [雑誌論文] Automatic generation of multi-modal dialogue from text based on discourse structure analysis (2007)
  • 著者名/発表者名: Helmut Prendinger
  • 雑誌名: Proceedings 1st IEEE International Conference on Semantic Computing(ICSC-07), Irvine, CA, USA ページ: 27-36
  • 査読あり
• [雑誌論文] A novel method for automatically generating multi-modal dialogue (2007)
  • 著者名/発表者名: Helmut Prendinger
  • 雑誌名: International Journal of Semantic Computing 1 ページ: 319-334
  • 査読あり
• [雑誌論文] Recognition of affect conveyed by text messaging in online communication (2007)
  • 著者名/発表者名: Alena Neviarouskaya
  • 雑誌名: Online Communities and Social Computing Proceedings 12th International Conference on Hu man-Computer Interaction, Beijing, China(LNCS) 4564/2007 ページ: 141-150
  • 査読あり
• [雑誌論文] Graceful anytime interruptibility for virtual agents (2007)
  • 著者名/発表者名: Klaus Brugmann
  • 雑誌名: ACM International Conference Proceeding Series Proceedings ACM SIGCHI International Conference on Advances in Computer Entertainment Technology(ACE-07), Salzburg, Austria 203 ページ: 284-285
  • 査読あり
• [雑誌論文] Gaze-based infotainment agents (2007)
  • 著者名/発表者名: Helmut Prendinger
  • 雑誌名: Proceedings ACM SIGCHI International Conference on Advances in Computer Entertainment Technology (ACE-07), Salzburg, Austria 203 ページ: 284-285
  • 査読あり
• [雑誌論文] Highly realistic 3D presentation agents with visual attention capability (2007)
  • 著者名/発表者名: Arjen Hoekstra
  • 雑誌名: Smart Graphics 8th International Symposium, SG 2007, Kyoto, Japan, June 25-27, 2007. Proceedings 4569/2007 ページ: 73-84
  • 査読あり
• [雑誌論文] Symmetric Multi-modality revisited: Unveiling users' physiological activity (2007)
  • 著者名/発表者名: Helmut Prendinger
  • 雑誌名: The LEEE Transactions on Industrial Electronics 54 ページ: 692-698
  • 査読あり
• [雑誌論文] User interest estimation using cross-modal computation (2007)
  • 著者名/発表者名: Takamasa Koshizen
  • 雑誌名: International Journal of Commputational Intelligence Research 3 ページ: 177-190
  • 査読あり
• [雑誌論文] MPML3D : a reactive framework for the Multimodal Presentation Markup Language (2007)
  • 著者名/発表者名: M.Nischt, H.Prendinger, E.Andre, M.Ishizuka
  • 雑誌名: Proceedings 6th International Conference on Intelligent Virtual Agents (IVA-06), Marina del Rey, CA, USA (Springer LNAI 4133, Berlin Heidelberg) ページ: 218-229
• [雑誌論文] Automatic preference detection by analyzing the gaze 'cascade effect' (2007)
  • 著者名/発表者名: N.Bee, H.Prendinger, E.Andre, M.Ishizuka
  • 雑誌名: Electronic Proceedings 2nd COGAIN Annual Conference on Communication by Gaze Interaction, Turin, Italy ページ: 61-64
• [雑誌論文] SenseNet : A linguistic tool to visualize numerical-valence based sentiment of textual data (2007)
  • 著者名/発表者名: M.Shaikh, H.Prendinger, M.Ishizuka
  • 雑誌名: Proceedings 5th International Conference on Natural Language Processing (ICON-07), Hyderabad, India ページ: 147-152
• [雑誌論文] Analysis of affect expressed through the evolving language of online communication (2007)
  • 著者名/発表者名: A.Neviarouskaya, H.Prendinger, M.Ishizuka
  • 雑誌名: Proceedings 2007 International Conference on Intelligent User Interfaces (IUI-07), Hawaii, USA (ACM Press, New York) ページ: 278-281
• [雑誌論文] Cascading hand and eye movement for augmented reality videoconferencing (2007)
  • 著者名/発表者名: I.Barakonyi, H.Prendinger, D.Schmalstieg, M.Ishizuka
  • 雑誌名: Proceedings 2nd IEEE Symposium on 3D User Interfaces 2007 (3DUI-07), Charlotte, North Carolina, USA (IEEE Computer Society) ページ: 71-78
• [雑誌論文] Eye movements as indices for the utility of life-like interface agents : A pilot study (2007)
  • 著者名/発表者名: H.Prendinger, C.Ma, M.Ishizuka
  • 雑誌名: Interacting with Computers Journal (Elsevier) 19・2 ページ: 281-292
• [雑誌論文] Narrowing the social gap among people involved in global dialog : automatic emotion detection in blog posts (2007)
  • 著者名/発表者名: A.Neviarouskaya, H.Prendinger, M.Ishizuka
  • 雑誌名: Proceedings International Conference on Weblogs and Social Media (ICWSM-07), Boulder, Colorado, USA, (Omnipress) ページ: 293-294
• [雑誌論文] A learning system for user modeling by combined cognitive and affective modeling for user interest estimation (2006)
  • 著者名/発表者名: T.Koshizen, Y.Hasegawa, H.Tusjino, M.Kon, K.Aihara, H.Prendinger
  • 雑誌名: Proceedings 7th International Conference on Cognitive Modelling (ICCM-06), Trieste, Italy (Edizioni Goliardiche, Trieste) ページ: 184-189
• [雑誌論文] Creating three-dimensional animated characters : An experience report and recommendations of good practice (Invited paper) (2006)
  • 著者名/発表者名: M.Nischt, H.Prendinger, E.Andre, M.Ishizuka
  • 雑誌名: The European Journal for the Informatics Professional (Cepis) VII・2 ページ: 36-41
• [雑誌論文] Web presentation system using RST events (Short paper) (2006)
  • 著者名/発表者名: A.Nakasone, H.Prendinger, M.Ishizuka
  • 雑誌名: Proceedings 5th International Conference on Autonomous Agents and Multiagent Systems (AAMAS-06), Hakodate, Japan (ACM Press, New York) ページ: 955-957
• [雑誌論文] AutoSelect : What You Want Is What You Get. Real-time processing of visual attention and affect (2006)
  • 著者名/発表者名: N.Bee, H.Prendinger, A.Nakasone, E.Andre, M.Ishizuka
  • 雑誌名: Proceedings Tutorial and Research Workshop on Perception and Interactive Technologies (PIT-06), Kloster Irsee, Germany (Springer LNAI 4021, Berlin Heidelberg) ページ: 218-229
• [雑誌論文] A study in users' physiological response to an empathic interface agent (2006)
  • 著者名/発表者名: H.Prendinger, C.Becker, M.Ishizuka
  • 雑誌名: International Journal of Humanoid Robotics (World Scientific) 3・3 ページ: 371-391
• [雑誌論文] Describing and generating multimodal contents featuring affective lifelike agents with MPML (2006)
  • 著者名/発表者名: Mitsuru Ishizuka, Helmut Prendinger
  • 雑誌名: New Generation Computing Journal Vol.24 ページ: 97-128
• [雑誌論文] A cognitively based approach to affect sensing from text (2006)
  • 著者名/発表者名: Mostafa Shaikj, Helmut Prendinger, Mitsuru Ishizuka
  • 雑誌名: Proceedings ACM International Conference on Intelligent Interfaces (IUI-06), Sydney, Australia(ACM Press) ページ: 349-351
• [雑誌論文] A new user-machine interactive scheme using cross-modal computation for deep interest estimation. Towards quantifying user satisfaction (2006)
  • 著者名/発表者名: Motohri Kon, Takamasa Koshizen, Helmut Prendinger
  • 雑誌名: Proceedings of Workshop on Effective Multimodal Dialogue Interfaces, in conjunction with the ACM International Conference on Intelligent User Interfaces (IUI-06), Sydney, Australia ページ: 25-34
• [雑誌論文] A creative abduction approach to scientific and knowledge discovery (2005)
  • 著者名/発表者名: Helmut Prendinger, Mitsuru Ishizuka
  • 雑誌名: Knowledge-Based Systems Journal Vol.18,No.7 ページ: 321-326
• [雑誌論文] Human physiology as a basis for designing and evaluating affective communication with life-like characters (2005)
  • 著者名/発表者名: Helmut Prendinger, Mitsuru Ishizuka
  • 雑誌名: IEICE Transactions on Information and Systems, Special Section on Life-like Agent and its Communication Vol.E88-D, No.11 ページ: 2453-2460
• [雑誌論文] Affective communication in online chat using physiological sensors and animated text (2005)
  • 著者名/発表者名: Hua Wang, Helmut Prendinger, Mitsuru Ishizuka, Takeo Igarashi
  • 雑誌名: Journal of the Human Interface Society, Special Issue on "Social Interface" Vol.7,No.1 ページ: 39-45
• [雑誌論文] The Empathic Companion : A character-based interface that addresses users' affective states (2005)
  • 著者名/発表者名: Helmut Prendinger, Mitsuru Ishizuka
  • 雑誌名: International Journal of Applied Artificial Intelligence Vol.19,Nos.3-4 ページ: 267-285
• [雑誌論文] Using human physiology to evaluate subtle expressivity of a virtual quizmaster in a mathematical game (2005)
  • 著者名/発表者名: Helmut Prendinger, Junichiro Mori, Mitsuru Ishizuka
  • 雑誌名: International Journal of Human-Computer Studies Vol.62 ページ: 231-245
• [雑誌論文] Evaluating affective feedback of the 3D agent Max in a competitive cards game (2005)
  • 著者名/発表者名: Christian Becker, Helmut Prendinger, Mitsuru Ishizuka, Ipke Wachsmuth
  • 雑誌名: Proceedings 1st International Conference on Affective Computing and Intelligent Interaction (ACII-05), Springer [NCS 3784, Beijing, China ページ: 466-473
• [雑誌論文] Emotion estimation and reasoning based on affective textual interaction (2005)
  • 著者名/発表者名: Chunling Ma, Helmut Prendinger, Mitsuru Ishizuka
  • 雑誌名: Proceedings 1st International Conference on Affective Computing and Intelligent Interaction (ACII-05), Springer [NCS 3784, Beijing, China ページ: 622-628
• [雑誌論文] Understanding the effect of life-like interface agents through users' eye movements (2005)
  • 著者名/発表者名: Helmut Prendinger, Chunling Ma, Jin Yingzi, Arturo Nakasone, Mitsuru Ishizuka
  • 雑誌名: Proceedings 7th International Conference on Multimodal Interfaces (ICMI-05), Trento, Italy(ACM Press) ページ: 108-115
• [雑誌論文] A chat system based on emotion estimation from text and embodied conversational messengers (2005)
  • 著者名/発表者名: Chunling Ma, Helmut Prendinger, Mitsuru Ishizuka
  • 雑誌名: Proceedings 4th International Conference on Entertainment Computing (ICEC-05), Springer LNCS 3711, Kobe, Sanda, Japan ページ: 535-538
• [雑誌論文] Emotion recognition from electromyography and skin conductance (2005)
  • 著者名/発表者名: Arturo Nakasone, Helmut Prendinger, Mitsuru Ishizuka
  • 雑誌名: Proceedings 5th International Workshop on Biosignal Interpretation (BSI-05), Tokyo, Japan ページ: 219-222
• [雑誌論文] Recognizing, modeling, and responding to users' affective states (2005)
  • 著者名/発表者名: Helmut Prendinger, Junichiro Mori, Mitsuru Ishizuka
  • 雑誌名: Proceedings 10th International Conference on User Modeling (UM-05), Springer LNAI 3538, Edinburgh, Scotland ページ: 60-69
• [雑誌論文] Evaluating the interaction with synthetic agents using attention and affect tracking (2005)
  • 著者名/発表者名: Helmut Prendinger, Chunling Ma, Jin Yingzi, Kazutaka Kushida, Mitsuru Ishizuka
  • 雑誌名: Proceedings 4th International Conference on Autonomous Agents and Multi Agent Systems ACM Press, Utrecht, The Netherlands ページ: 1099-1100
• [雑誌論文] Eye movement as an indicator of users' involvement with embodied interfaces at the low level (2005)
  • 著者名/発表者名: Chunling Ma, Helmut Prendinger, Mitsuru Ishizuka
  • 雑誌名: Proceedings AISB-05 Symposium on "Conversational Informatics for Supporting Social Intelligence and Interaction - Situational and Environmental Information Enforcing Involvement in Conversation", Herfordshire, UK ページ: 136-143
• [雑誌論文] Estimating user affect and focus of attention from physiological signals in life-like character based interaction scenarios (2005)
  • 著者名/発表者名: Helmut Prendinger
  • 雑誌名: The 13th Annual Workshop of the SIG Adaptivity and User Modeling in Interactive Systems (ABIS-05), at LWA-05, Saarbrucken, Germany ページ: 61-62
• [雑誌論文] Designing for affective interaction with embodied interfaces. (2005)
  • 著者名/発表者名: Helmut Prendinger
  • 雑誌名: The 8th Biennial Israeli Symposium on Foundations of AI (BISFAI-05), Haifa, Israel ページ: 25-25
• [雑誌論文] Physiologically interactive gaming with the 3D agent Max (2005)
  • 著者名/発表者名: Curistian Becker, Arturo Nalasone, Helmut Prendinger, Mitsuru Ishizuka, Ipke Wachsmuth
  • 雑誌名: Proceedings of JSAI 2005 Workshop on Conversational Informatics, in conj.with JSAI-05, Kita-Kyushu, Japan(ISBN 4-915905-21-7 c-3004(JSAI)) ページ: 37-42
• [雑誌論文] Does non-verbal behavior of an embodied agent matter? (2005)
  • 著者名/発表者名: Helmut Prendinger, Chunling Ma, Junichiro Mori, Mitsuru Ishizuka
  • 雑誌名: Proceedings of the 2005 International Conference on Active Media Technology (AMT-05), IEEE, Takamatsu, Kagawa, Japan ページ: 535-540
• [雑誌論文] Empathy for Max(Preliminary project report) (2005)
  • 著者名/発表者名: Christian Becker, Helmut Prendinger, Mitsuru Ishizuka, Ipke Wachsmuth
  • 雑誌名: Proceedings of the 2005 International Conference on Active Media Technology (AMT-05), IEEE, Takamatsu, Kagawa, Japan ページ: 541-545
• [雑誌論文] A chat system based on emotion estimation from text and embodied conversational messengers (Preliminary report) (2005)
  • 著者名/発表者名: Chunling Ma, Alexander Osherenko, Helmut Prendinger, Mitsuru Ishizuka
  • 雑誌名: Proceedings of the 2005 International Conference on Active Media Technology (AMT-05), IEEE, Takamatsu, Kagawa, Japan ページ: 546-548
• [備考]
  • URL: http://research.nii.ac.jp/~prendinger/Kakenhi_FY2005-07/Kakenhi_FY2005-07.html
• [備考]
  • URL: http://research.nii.ac.jp/~prendinger/