互いの視点への書き込みによって対話を行う人とロボットの体験協創

• Project Area: Founding a creative society via collaboration among humans and robots
• Project/Area Number: 22118505
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Complex systems
• Research Institution: Future University-Hakodate (2011); Kyoto University (2010)
• Principal Investigator: 角 康之 公立はこだて未来大学, システム情報科学部, 教授 (30362578)
• Project Period (FY): 2010 – 2011
• Project Status: Completed (Fiscal Year 2011)
• Budget Amount: ¥19,760,000 (Direct Cost: ¥15,200,000、Indirect Cost: ¥4,560,000); Fiscal Year 2011: ¥9,880,000 (Direct Cost: ¥7,600,000、Indirect Cost: ¥2,280,000); Fiscal Year 2010: ¥9,880,000 (Direct Cost: ¥7,600,000、Indirect Cost: ¥2,280,000)
• Keywords: 人ロボット対話 / 視点共有 / 体験協創 / 多人数会話 / PhotoChat / iCorpusStudio

Research Abstract

本研究の目的は、人とロボットが体験を共有し共に学ぶことを可能にするために、人が携帯するモバイル端末とロボットの間で互いの「視点」を交換し合い、その上での図的操作によって対話対象世界の切り出しや名付け・操作指示を行う方法を構築し、人とロボットの体験協創の枠組みを構築することである。
昨年度までに、写真の上への書き込みに基づいたコミュニケーション支援システムPhotoChatを、人とロボットの対話に使えるように準備を行った。今年度は、それに加えて、展示会を見学している複数人の来訪者(3～5人程度を想定)のインタラクションの状況推定を行うために、展示エリアとの位置関係を検出するサブシステムや、PhotoChat上の書き込み状況から興味対象の抽出や盛り上がりのタイミング推定を行う手法を開発した。
また、ロボットによる体験演出を目指して、過去の来訪者同士のPhotoChat会話を再利用し、擬似的に話題提供を行うエージェントシステムを試作し、ロボットへの実装を行った。

Research Products

• [Journal Article] Neary : Conversational field detection based on situated sound similarity (2011)
  • Author(s): Toshiya Nakakura, Yasuyuki Sumi, Toyoaki Nishida
  • Journal Title: IEICE Transactions on Information & Systems Volume: E94-D Pages: 1164-1172
  • NAID: 10029804886
  • Peer Reviewed
• [Journal Article] Active adaption in human-agent collaborative interaction (2011)
  • Author(s): Yong Xu, Yoshimasa Ohmoto, Kazuhiro Ueda, Takanori Komatsu, Takeshi Okadome, Koji Kamei, Shogo Okada, Yasuyuki Sumi, Toyoaki Nishida
  • Journal Title: Journal of Intelligent Information Systems Volume: 37 Pages: 23-38
  • Peer Reviewed
• [Journal Article] マルチモーダルデータに基づいた多人数会話の構造理解 (2011)
  • Author(s): 角康之, 矢野正治, 西田豊明
  • Journal Title: 社会言語科学会誌 Volume: 14 Pages: 82-96
  • Peer Reviewed
• [Journal Article] 写真への書き込みによって気づきと表現を促す体験共有ワークショップ (2011)
  • Author(s): 角康之, 小笠原遼子
  • Journal Title: 人工知能学会誌 Volume: 26(招待) Pages: 449-456
• [Journal Article] 対話行動認識プラットフォーム (2011)
  • Author(s): 塩見昌裕, 岩井儀雄, 角康之, 中臺一博, 萩田紀博
  • Journal Title: 日本ロボット学会誌 Volume: 29(招待) Pages: 17-20
  • NAID: 10030208611
• [Journal Article] アンビエントインテリジェンスって何? (2011)
  • Author(s): 角康之
  • Journal Title: システム/制御/情報(システム制御情報学会誌) Volume: 56(招待) Pages: 39-40
• [Journal Article] 非言語行動の出現パターンによる会話構造抽出 (2011)
  • Author(s): 中田篤志, 角康之, 西田豊明
  • Journal Title: 電子情報通信学会論文誌 Volume: J94-D Pages: 113-123
  • NAID: 110008006553
  • Peer Reviewed
• [Journal Article] 体験メディア:グループ活動の文脈に埋め込まれた実世界メディア (2010)
  • Author(s): 角康之
  • Journal Title: 情報処理学会誌 Volume: 51 Pages: 826-834
• [Presentation] タブレットPCを利用した映像閲覧者のマルチモーダルな興味度推定 (2012)
  • Author(s): 駒木定生, 角康之
  • Organizer: 情報処理学会第33回ユビキタスコンピューティングシステム研究会
  • Place of Presentation: 東京
  • Year and Date: 2012-03-13
• [Presentation] マルチモーダルデークに基づいた多人数インタラクションの構造理解 (2011)
  • Author(s): 角康之
  • Organizer: 情報処理学会第145回ヒューマンコンピュータインタラクション研究会
  • Place of Presentation: 東京(招待講演)
  • Year and Date: 2011-10-14
• [Presentation] 写真上の会話シーンを再利用することによって博物館体験を強化する話題提供エージェント (2011)
  • Author(s): 森元俊成, 角康之, 西田豊明
  • Organizer: 情報処理学会研究報告(ユビキタスコンピューティングシステム)
  • Place of Presentation: 船橋市
  • Year and Date: 2011-03-08
• [Presentation] HASC2011corpus : Towards the common ground of human activity recognition (2011)
  • Author(s): Nobuo Kawaguchi, Ying Yang, Tianhui Yang, Nobuhiro Ogawa, Yohei Iwasaki, Katsuhiko Kaji, Tsutomu Terada, Kazuya Murao, Sozo Inoue, Yoshihiro Kawahara, Yasuyuki Sumi, Nobuhiko Nishio
  • Organizer: Ubicomp 2011
  • Place of Presentation: 中国、北京
• [Presentation] Info-concierge : Proactive multi-modal interaction through mind probing (2011)
  • Author(s): Takatsugu Hirayama, Yasuyuki Sumi, Tatsuya Kawabara, Takashi Matsuyama
  • Organizer: APSIPA Annual Summit and Conference (APSIPA ASC 2011)
  • Place of Presentation: 中国、西安
• [Presentation] Collaborative experience among humans and robot based on shared annotations on mutual views (2011)
  • Author(s): Yasuyuki Sumi
  • Organizer: Workshop on Human-Robot Symbiosis Synergistic Creation of Human-Robot Relationships, 11th IEEE-RAS International Conference on Humanoid Robots
  • Place of Presentation: スロヴェニア
• [Presentation] 説明員と見学者の身体配置が博物館展示説明の誘導に及ぼす影響 (2011)
  • Author(s): 周藤沙月, 角康之, 塩瀬隆之
  • Organizer: 人工知能学会全国大会(第25回)
  • Place of Presentation: 盛岡
• [Presentation] マルチモーダルデータに基づいた多人数インタラクションの構造理解 (2011)
  • Author(s): 角康之
  • Organizer: 人工知能学会全国大会(第25回)
  • Place of Presentation: 盛岡
• [Presentation] HASC Challenge2010:人間行動理解のための装着型加速度センサデータコーパスの構築 (2011)
  • Author(s): 河口信夫, 小川延宏, 岩崎陽平, 梶克彦, 寺田努, 村尾和哉, 井上創造, 川原圭博, 角康之, 西尾信彦
  • Organizer: マルチメディア、分散、協調とモバイルシンポジウム(DICIMO2011)
  • Place of Presentation: 宮津
• [Presentation] 互いの視点への書き込みによって対話を行う人とロボットの体験協創 (2011)
  • Author(s): 角康之
  • Organizer: 電子情報通信学会クラウドネットワークロボット研究会(第2回)
  • Place of Presentation: 札幌
• [Presentation] 情報コンシェルジェ:Mind Probingに基づくマルチモーダルインタラクションシステム (2011)
  • Author(s): 平山高嗣, 角康之, 河原達也, 松山隆司
  • Organizer: 電子情報通信学会ヒューマンコミュニケーション基礎研究会
  • Place of Presentation: 京都
• [Presentation] 会話的インタラクションの理解とデザイン (2011)
  • Author(s): 角康之
  • Organizer: 電子情報通信学会Webインテリジェンスとインタラクション研究会(第20回)
  • Place of Presentation: 函館(招待講演)
• [Presentation] 参加者の非言語インタラクションと協調的アノテーションに基づくミーティングキャプチャシステム (2011)
  • Author(s): 勝木弘, 角康之
  • Organizer: インタラクション2011
  • Place of Presentation: 東京(インタラクティブ発表)
• [Presentation] 博物館展示説明における身体配置の影響 (2011)
  • Author(s): 周藤沙月, 角康之, 塩瀬隆之
  • Organizer: インタラクション2011
  • Place of Presentation: 東京(インタラクティブ発表)
• [Presentation] 博物館の協調見学を知識強化する話題提供エージェントの構築:過去の会話シーンの再利用 (2011)
  • Author(s): 古谷翔, 森元俊成, 角康之
  • Organizer: インタラクション2011
  • Place of Presentation: 東京(インタラクティブ発表)
• [Presentation] HASC Challenge : Gathering large scale human activity corpus for the real-world activity understandings (2011)
  • Author(s): Nobuo Kawaguchi, Nobuhiro Ogawa, Yohei Iwasaki, Katsuhiko Kaji, Tsutomu Terada, Kazuya Murao, Sozo Inoue, Yoshihiro Kawahara, Yasuyuki Sumi, Nobuhiko Nishio
  • Organizer: Augmented Human 2011
  • Place of Presentation: 東京
• [Presentation] 聞き手の非言語的反応と協調的アノテーションに基づくミーティングキャプチャシステム (2010)
  • Author(s): 勝木弘, 角康之, 西田豊明
  • Organizer: 情報処理学会関西支部 平成22年度支部大会
  • Place of Presentation: 大阪市
  • Year and Date: 2010-09-22
• [Presentation] Analysis environment of conversational structure with nonverbal multimodal data (2010)
  • Author(s): Yasuyuki Sumi, Masaharu Yano, Toyoaki Nishid
  • Organizer: The Twelfth International Conference on Multimodal Interfaces and the Seventh Workshop on Machine Learning for Multimodal Interaction (ICMI-MLMI2010)
  • Place of Presentation: 中国、北京
• [Remarks] 本研究の一環で開発しているインタラクション支援ツールPhotoChatとインタラクション分析ツールiCorpusStudioを下記で公開している。
  • URL: http://www.fun.ac.jp/~sumi/photochat/
• [Remarks]
  • URL: http://www.ii.ist.i.kyoto-u.ac.jp/iCorpusStudio/
• [Remarks] 本研究の一環で開発しているインタラクション分析ツールiCorpusStudioを下記で公開している。
  • URL: http://www.ii.ist.i.kyoto-u.ac.jp/iCorpusStudio/