会話エージェント研究共有プラットフォームの構築と利用技術の研究

2009 年度 実績報告書

• 研究課題/領域番号: 19100001
• 研究機関: 京都大学
• 研究代表者: 西田 豊明 京都大学, 情報学研究科, 教授 (70135531)
• 研究分担者: 河原 達也 京都大学, 学術情報メディアセンター, 教授 (00234104) ; 黒橋 禎夫 京都大学, 情報学研究科, 教授 (50263108) ; 角 康之 京都大学, 情報学研究科, 准教授 (30362578) ; 中野 有紀子 成蹊大学, 理工学部, 准教授 (40422505) ; 大本 義正 京都大学, 情報学研究科, 助教 (90511775)
• キーワード: エージェント / 会話エージェント / 対話エージェント / 音声言語 / 言語処理

研究概要

GECAシステムに言語処理システムSynGraphをGECAシステムに追加する作業を進めた.GECAを用いた複数ユーザインタラクション機能の改良,SKGを用いたコンテンツ供給機能との接続を行った.GECAを用いてインタラクティブに機器操作説明を行う会話エージェントシステムを試作した.人間どうしの自然な音声会話において,聞き手が興味を示しているあいづちの形態的・韻律的パターンを同定し,会話音声からあいづちを自動検出する方法について研究を行った.WWWコーパスの機械解析結果から計算される文要素関の共起尺度を観測変数として用い,変数間の相関を因子分析モデルによって分析した.CEBEと呼ぶ没入型WOZ環境の開発を進めた.現実空間をコンテンツ化するため,全方位カメラを用いて撮影した実空間を元に仮想空間を簡便に構築するシステムを開発した.3人会話データから特徴的な会話プロトコルの抽出を試みた.多人数会話エージェントの開発に向けた基礎データの収集と分析を行い,会話状況を検知できることを示した.社会的関係を特徴づけるパラメータを提案し,文化,社会的関係,そして非言語行動との相互関係を表現するモデルを構築した.人間の会話行動推定モデルを統合し,多人数会話における対話制御方式の提案と実装を行った.非言語的なインタラクション系列の模倣学習.教師なし学習と教師あり学習を組み合わせて,非言語的なインタラクションの模倣学習を実現するための基本アルゴリズムを構成した.会話エージェントとのインタラクションの自然さの指標作成.信号処理をもちいて生理指標からストレスの度合いを計測することにより,インタラクションの自然さを評価するシステムを構築した.エージェントによる場の盛り上がりと個人の盛り上がりの自動判別手法を実装した.

研究成果

• [雑誌論文] Statistical Transformation of Language and Pronunciation Models for Spontaneous Speech Recognition (2010)
  • 著者名/発表者名: Akita Y., Kawahara, T.
  • 雑誌名: IEEE Trans. Audio, Speech & Language Processing (採録決定)
  • 査読あり
• [雑誌論文] Online unsupervised classification with model comparison in the Variational Bayes framework for voice activity detection (2010)
  • 著者名/発表者名: Cournapear, D., Watanabe, S., Nakamura, A., Kawahara, T
  • 雑誌名: IEEE J.Selected Topics in Signal Processing (採録決定)
  • 査読あり
• [雑誌論文] Bayes risk-based dialogue management for document retrieval system with speech interface (2010)
  • 著者名/発表者名: Misu, T., Kawahara, T.
  • 雑誌名: Speech Communication 52 ページ: 61-71
  • 査読あり
• [雑誌論文] 複数ユーザインタラクションにおける外発的な盛り上がりの雰囲気の判定方法と影響の検討 (2010)
  • 著者名/発表者名: 大本義正, 三宅峰, 西田豊明
  • 雑誌名: 電子情報通信学会情報システムソサイエティ和文論文誌 (採録決定)
  • 査読あり
• [雑誌論文] Constrained Motif Discovery in Time Series (2009)
  • 著者名/発表者名: Mohammad, Y., Nishida, T.
  • 雑誌名: New Generation Computing 27 ページ: 319-346
  • 査読あり
• [雑誌論文] From observation to simulation : generating culture-specific behavior for interactive systems (2009)
  • 著者名/発表者名: Rehm, M., Nakano, Y.I., Andre, E., Nishida, T., Bee, N., Endrab, B., Wissner, M., Lipi, A.A., Huang, H.H.
  • 雑誌名: AI & Society 24 ページ: 267-280
  • 査読あり
• [雑誌論文] Toward a multi-culture adaptive virtual tour guide agent with a modular approach (2009)
  • 著者名/発表者名: Huang, H.H., Cerekovic, A., Pandzic, I.S., Nakano, Y.I., Nishida, T.
  • 雑誌名: AI & Society 24 ページ: 225-235
  • 査読あり
• [雑誌論文] Juliusを用いた音声認識インタフェースの作成 (2009)
  • 著者名/発表者名: 李晃伸, 河原達也
  • 雑誌名: ヒューマンインタフェース学会誌 11 ページ: 31-38
  • 査読あり
• [学会発表] Social Intelligence Design for Knowledge Circulation (2010)
  • 著者名/発表者名: Toyoaki Nishida
  • 学会等名: atabases in Networked Information Systems(DNIS)
  • 発表場所: University of Aizu
  • 年月日: 2010-03-29
• [学会発表] 因子分析による日本語文末表現の機能・叙法分析 (2010)
  • 著者名/発表者名: 玉城伸仁, 黒橋禎夫
  • 学会等名: 言語処理学会第16回年次大会(2010)
  • 発表場所: 東京大学
  • 年月日: 2010-03-11
• [学会発表] 知識空間の可視化と共有支援システムの開発とその利用 (2010)
  • 著者名/発表者名: 神田賢一, 大本義正, 西田豊明
  • 学会等名: 第72回情報処理学会全国大会
  • 発表場所: 東京大学
  • 年月日: 2010-03-10
• [学会発表] Webからの情報抽出に基づく雑談的な対話の生成 (2010)
  • 著者名/発表者名: 吉野幸一郎, 河原達也
  • 学会等名: 言語処理学会第16回年次大会(2010)
  • 発表場所: 東京大学
  • 年月日: 2010-03-09
• [学会発表] ポスター会話中の音リアクションイベントに基づくホットスポットの抽出 (2010)
  • 著者名/発表者名: 須見康平, 河原達也
  • 学会等名: 第72回情報処理学会全国大会
  • 発表場所: 東京大学
  • 年月日: 2010-03-09
• [学会発表] エージェントを介した遠隔地コミュニケーションの実現に向けたWOZシステムの開発 (2010)
  • 著者名/発表者名: 大橋洋輝, 高橋暁弘, 岡田将吾, 大本義正, 西田豊明
  • 学会等名: 第72回情報処理学会全国大会
  • 発表場所: 東京大学
  • 年月日: 2010-03-09
• [学会発表] 交渉時のエージェントの性格パラメータの影響の検討 (2010)
  • 著者名/発表者名: 三宅峰, 大本義正, 西田豊明
  • 学会等名: 第72回情報処理学会全国大会
  • 発表場所: 東京大学
  • 年月日: 2010-03-09
• [学会発表] A Socio-Cultural Model Based on Empirical Data of Cultural and Social Relationship (2010)
  • 著者名/発表者名: Lipi, A.A., Nakano, Y., Rehm, M.
  • 学会等名: International Workshop on Agents in Cultural Context, 2010
  • 発表場所: 京都大学
  • 年月日: 2010-02-22
• [学会発表] Performance of an Artificial Emotion System of a Virtual Agent in the Cultural Context (2010)
  • 著者名/発表者名: Kiselev, A., Abdikeyev, N., Nishida, T.
  • 学会等名: International Workshop on Agents in Cultural Context, 2010
  • 発表場所: 京都大学
  • 年月日: 2010-02-22
• [学会発表] Capture and Express Behavior Environment (CEBE) for realizing enculturating human-agent interaction (2010)
  • 著者名/発表者名: Ohmoto, Y., Takahahshi, A., Ohashi, H., Nishida, T.
  • 学会等名: International Workshop on Agents in Cultural Context, 2010
  • 発表場所: 京都大学
  • 年月日: 2010-02-22
• [学会発表] 聞き手の興味・関心を示すあいづちの生起する会話文脈の分析 (2010)
  • 著者名/発表者名: 高梨克也, 常志強, 河原達也
  • 学会等名: 第58回 人工知能学会 言語・音声理解と対話処理研究会
  • 発表場所: 神戸市
  • 年月日: 2010-02-12
• [学会発表] Estimating User's Engagement from Eye-gaze Behaviors in Human-Agent Conversations (2010)
  • 著者名/発表者名: Nakano, Y.I., Ishii, R.
  • 学会等名: 2010 International Conference on Intelligent User Interfaces(IUI2010)
  • 発表場所: Hong Kong, China
  • 年月日: 2010-02-09
• [学会発表] New perspectives on spoken language understanding : Does machine need to fully understand speech? (2009)
  • 著者名/発表者名: Kawahara, T.
  • 学会等名: IEEE Workshop on Automatic Speech Recognition and Understanding
  • 発表場所: 京都
  • 年月日: 2009-12-10
• [学会発表] Improving Emotional Communication Skills of the Virtual Agent for Customer-Engineer Interactions (2009)
  • 著者名/発表者名: Kiselev, A., Abdikeev, N., Nishida, T.
  • 学会等名: the 8th International Workshop on Social Intelligence Design(SID 2009)
  • 発表場所: 京都
  • 年月日: 2009-11-09
• [学会発表] the 5th International Conference on Active Media Technology(AMT 2009) (2009)
  • 著者名/発表者名: Cerekovic, A., Huang, H.H., Furukawa, T., Yamaoka, Y., Pandzic, I.S., Nishida, T., Nakano, Y.I.
  • 学会等名: Intelligent Virtual Agents 2009
  • 発表場所: Beijin, China
  • 年月日: 2009-10-23
• [学会発表] Unsupervised simultaneous learning of gestures, actions and their associations for Human-Robot Interaction (2009)
  • 著者名/発表者名: Mohammad, Y., Nishida, T., Okada, S.
  • 学会等名: IROS 2009
  • 発表場所: St. Louis, MO, USA
  • 年月日: 2009-10-15
• [学会発表] Recent development of open-source speech recognition engine Julius (2009)
  • 著者名/発表者名: Lee, A., Kawahara, T.
  • 学会等名: APSIPA-ASC
  • 発表場所: 札幌
  • 年月日: 2009-10-04
• [学会発表] The Lessons Learned in Developing Multi-user Attentive Quiz Agents (2009)
  • 著者名/発表者名: Huang, H.H., Furukawa, T., Ohashi, H., Cerekovic, A., Yamaoka, Y., Pandzic, I.S., Nakano, Y.I., Nishida, T.
  • 学会等名: Intelligent Virtual Agents 2009
  • 発表場所: Amsterdam, the Netherlands
  • 年月日: 2009-09-14
• [学会発表] A WFST-based log-linear framework for speaking-style transformation (2009)
  • 著者名/発表者名: Neubig, G., Mori, S., Kawahara, T.
  • 学会等名: INTERSPEECH
  • 発表場所: Brighton UK
  • 年月日: 2009-09-08
• [学会発表] Optimization of dereverberation parameters based on likelihood of speech recognizer (2009)
  • 著者名/発表者名: Gomez, R., Kawahara, T.
  • 学会等名: INTERSPEECH
  • 発表場所: Brighton UK
  • 年月日: 2009-09-08
• [学会発表] Acoustic event detection for spotting hot spots in podcasts (2009)
  • 著者名/発表者名: Sumi, K., Kawahara, T., Ogata, J., Goto, M.
  • 学会等名: INTERSPEECH
  • 発表場所: Brighton UK
  • 年月日: 2009-09-08
• [学会発表] Automatic transcription system for meetings of the Japanese National Congress (2009)
  • 著者名/発表者名: Akita, Y., Mimura, M., Kawahara, T.
  • 学会等名: INTERSPEECH
  • 発表場所: Brighton UK
  • 年月日: 2009-09-07
• [学会発表] Some Pitfalls for Developing Enculturated Conversational Agents (2009)
  • 著者名/発表者名: Rehm, M., Andre E., Nakano, Y.I.
  • 学会等名: 13th International Conference on Human-Computer Interaction(HCII09)
  • 発表場所: San Diego, CA, USA
  • 年月日: 2009-07-22
• [学会発表] Multimodal Corpus Analysis as a Method for Ensuring Cultural Usability of Embodied Conversational Agents (2009)
  • 著者名/発表者名: Nakano, Y.I., Rehm, M.
  • 学会等名: 13th International Conference on Human-Computer Interaction(HCII09)
  • 発表場所: San Diego, CA, USA
  • 年月日: 2009-07-22
• [学会発表] A Parameter-based Model for Generating Culturally Adaptive Nonverbal Behaviors in Embodied Conversational Agents (2009)
  • 著者名/発表者名: Lipi, A.A., Nakano, Y.I., Rehm, M.
  • 学会等名: 13th International Conference on Human-Computer Interaction(HCII09)
  • 発表場所: San Diego, CA, USA
  • 年月日: 2009-07-22
• [学会発表] Toward the Knowledge Circulation between Institutions and Public Audiences with Virtual Agents (2009)
  • 著者名/発表者名: Huang, H.H., Kubota, H., Y., Nishida, T.
  • 学会等名: The Twenty Second International Conference on Industrial, Engineering & Other Applications of Applied Intelligent Systems(IEA/AIE 2009)
  • 発表場所: Hainan, Taiwan
  • 年月日: 2009-06-27
• [学会発表] Measuring Naturalness during Close Encounters Using Physiological Signal Processing (2009)
  • 著者名/発表者名: Mohammad, Y., Nishida, T.
  • 学会等名: The Twenty Second International Conference on Industrial, Engineering & Other Applications of Applied Intelligent Systems(IEA/AIE 2009)
  • 発表場所: Hainan, Taiwan
  • 年月日: 2009-06-25
• [学会発表] Robust Singular Spectrum Transform (2009)
  • 著者名/発表者名: Mohammad, Y., Nishida, T.
  • 学会等名: The Twenty Second International Conference on Industrial, Engineering & Other Applications of Applied Intelligent Systems(IEA/AIE 2009)
  • 発表場所: Hainan, Taiwan
  • 年月日: 2009-06-24
• [学会発表] Communicating with Multiple Users for Embodied Conversational Agents (2009)
  • 著者名/発表者名: Huang, H.H., Cerekovic, A., Furukawa, T., Yamaoka, Y., Ohashi, H., Pandzic, I.S., Nakano, Y.I., Nishida, T.
  • 学会等名: 10th International Conference on Telecommunications(ConTEL2009)
  • 発表場所: Zagreb, Croztia
  • 年月日: 2009-06-08
• [学会発表] Incorporating Intentional and Emotional Behaviors into a Virtual Human for Better Customer-Engineer-Interaction (2009)
  • 著者名/発表者名: Hacker, B.A., Wankerl, T., Kiselev, A., Huang, H.H., Merckel, L., Okada, S., Schlichter, J., Abdikkev, A. Nishida, T.
  • 学会等名: 10th International Conference on Telecommunications(ConTEL2009)
  • 発表場所: Zagreb, Croztia
  • 年月日: 2009-06-08
• [学会発表] Conversational Informatics for Situated Communication (2009)
  • 著者名/発表者名: Toyoaki Nishida
  • 学会等名: The 10th International Conference on Telecommunications(ConTEL 2009)
  • 発表場所: Zagreb, Croztia
  • 年月日: 2009-06-08
• [学会発表] Language model transformation applied to lightly supervised training of acoustic model for congress meetings (2009)
  • 著者名/発表者名: Kawahara, T., Mimura, M., Akita, Y.
  • 学会等名: IEEE-ICASSP
  • 発表場所: Taipei, Taiwan
  • 年月日: 2009-04-23
• [学会発表] Social Intelligence Design for Intelligent Decision Technologies (2009)
  • 著者名/発表者名: Toyoaki Nishida
  • 学会等名: KES IDT 2009
  • 発表場所: Himeji, Japan
  • 年月日: 2009-04-23