人間同士の自然なコミュニケーションを支援する知能メディア技術

2003 Fiscal Year Annual Research Report

• Project/Area Number: 13GS0003
• Research Institution: The University of Tokyo
• Principal Investigator: 西田 豊明 東京大学, 大学院・情報理工学系研究科, 教授 (70135531)
• Co-Investigator(Kenkyū-buntansha): 谷口 倫一郎 九州大学, 大学院・システム情報科学研究院, 教授 (20136550) ; 辻井 潤一 東京大学, 大学院・情報学環, 教授 (20026313) ; 美濃 導彦 京都大学, 学術情報メディアセンター, 教授 (70166099) ; 中村 裕一 筑波大学, 機能工学系, 助教授 (40227947) ; 馬場口 登 大阪大学, 大学院・工学研究科, 教授 (30156541)
• Keywords: コミュニケーション / 知能メディア技術 / 環境メディア / 会話エージェント / 会話モデル / マルチモーダル会話 / 言語情報と非言語情報の統合 / コンテンツマネジメント

Research Abstract

I 環境メディア技術
人間同士の対話状況の認識と情報獲得を自然な形で行う環境メディアの実現を目指し,講義自動アーカイブシステムの構築と対話映像生成における自然な非言語表現の表出を実現した.また,操作履歴に基づく個人性情報の獲得と映像の要約・検索への応用,ユーザの視聴行動と感性的挙動のセンシング,歩行者ナビゲーションシステムにおける個人的選好の獲得と利用を研究した.さらに,非言語情報獲得の基礎研究として,リアルタイムヒューマンプロキシの概念を提案し,没入型分散講義環境VEIDLの開発によってそれを実現した.
II 会話エージェント技術
会話エージェントを用いたコイテンツマネジメントシステム,言語処理と映像処理を統合した教示映像の構造化,会話エージェントのための省略解析,書き言葉話し言葉変換,連想的発話生成,文の背後に潜む「問い」の抽出,アノテーションと非象徴的ジェスチャを用いたビデオインタフェースの作成を行った.また,対話的な映像メディアに関しては,映像との対話を可能にするコンテンツの自動撮影や自動インデキシングに関する研究を行い成果を得た.
III 対話のコミュニケーション・モデル
型付素性構造データベースのための永続性とランク付近接構造検索のスケーラビリティを高める技術を実現し,解の最適性を保証した高速パージングに関する研究を行った.また,ソフトウェアのバージョシアップにおける差分明示型インタフェースの構築,および学習者の行動に対する教示者の適応を利用した効率的な学習のための意味獲得モデルの構築を行った.そして,マルチモーダル・コミュニケーション過程の分析・モデル化の基礎資料となるマルチモーダル会話を収録し,3人会話における視線構造の分析と頭部動作の言語学的分析に取り組んだ.さらに,表層的な音声解析のみを用いた会話練習支援システムの開発と,RoboCupのログの解析ツールに基づく頑健なチーム構成法に関する研究を行った.

Research Products

• [Publications] 美濃導彦, 角所考: "環境メディア:コミュニケーション環境として機能する情報メディア-遠隔講義を具体例として-"システム制御情報学会誌. Vol.47 No.10. 481-486 (2003)
• [Publications] 西口敏司, 亀田能成, 角所考, 美濃導彦: "講義自動撮影における話者位置推定のための視聴覚情報の統合"電気学会論文誌(C). Vol.124-C, No.3(to appear). (2004)
• [Publications] S.Nishiguchi, Y.Kameda, K.Kakusho, M.Minoh: "Automatic Video Recording of Students Based on Variety of Motion Detection and Scale Equalization of Observation of Students"Journal of Advanced Computational Intelligence and Intelligent Informatics. Vol.8, No.2(to appear). (2004)
• [Publications] M.Minoh, S.Nishiguchi: "Environmental Media-In the Case of Lecture Archiving System"International Conference Knowledge-Based Intelligent Information & Engineering Systems (KES2003). Vol.II. 1070-1076 (2003)
• [Publications] K.Kakusho, J.Itou, M.Minoh: "An Embodied Agent that Sends Nonverbal Conversational Signals Consistent with those of the Partner during a Dialogue"IEEE Workshop Robot and Human Interactive Communication (RO-MAN2003). (2003)
• [Publications] J.Itou, K.Kakusho, M.Minoh: "Adjustment of Nonverbal Conversational Signals from Embodied Agents in Dialogues"International Conference Knowledge-Based Intelligent Information & Engineering Systems (KES2003). Vol.II. 1085-1092 (2003)
• [Publications] T.M.Rutkowski, S.Seki, Y.Yamakata, K.Kakusho, M.Minoh: "Toward the Human Communication Efficiendy Monitoring from Captured Audio and Video Media in Real Environment"International Conference Knowledge-Based Intelligent Information & Engineering Systems (KES2003). Vol.II. 1093-1100 (2003)
• [Publications] 角所考, 伊藤淳子, 美濃導彦: "会話エージェントのためのノンバーバル表現間の相互依存性のモデル化"合同エージェントワークショップ&シンポジウム(JAWS2003)講演論文集. 366-373 (2003)
• [Publications] 岡本啓嗣, 八杉将伸, 馬場口登: "固定長の時空間画像に基づく映像シーンのクラスタリング"電子情報通信学会論文誌(D-II). Vol.J86-D-II, No.6. 877-885 (2003)
• [Publications] 新田直子, 馬場口登: "放送型スポーツ映像の意味内容獲得のためのストーリー分割法"電子情報通信学会論文誌(D-II). Vol.J86-D-II, No.6. 1222-1233 (2003)
• [Publications] S.Miyauchi, N.Babaguchi, T.Kitahashi: "Highlight Detection and Indexing in Broadcast Sports Video by Collaborative Processing of Text, Audio, and Image"Systems and Computers in Japan. Vol.34, No.12. 22-31 (2003)
• [Publications] 馬場口登, 上原邦昭, 有木康雄: "マルチメディア情報の高次処理"人工知能学会誌. Vol.18, No.3. 307-316 (2003)
• [Publications] N.Babaguchi, N.Nitta: "Intermodal Collaboration : A Strategy for Semantic Content Analysis for Broadcasted Sports Video"2003 IEEE International Conference on Image Processing. (2003)
• [Publications] 馬場口登: "スポーツ映像におけるハイライトシーン検出 -インターモーダル協調による映像インデクシング-"画像ラボ. Vol.14, No.7. 25-29 (2003)
• [Publications] K.Ohara, T.Ogura, N.Babaguchi: "On Personalizing Video Portal System with Metadata"Seventh International Conference on Knowledge-Based Intelligent Information & Engineering Systems (KES 2003). Vol.II. 1062-1069 (2003)
• [Publications] N.Naoko, N.Babaguchi, T.Kitahashi: "Generating Semantic Descriptions of Broadcasted Sports Video Based on Structure of Sports Game"Multimedia Tools and Applications. (in press). (2003)
• [Publications] N.Babaguchi, Y.Kawai, T.Ogura, T.Kitahashi: "Effect of Personalization on Retrieval and Summarization of Sports Video"The Fourth IEEE Pacific-Rim Conference on Multimedia (PCM2003). (2003)
• [Publications] 藤本喜彦, 小原ゆう, 柴田史久, 馬場口登, 八木康史: "店舗内に設置した全方位視覚センサによる顧客や行動解析"情報処理学会研究報告,コンピュータビジョンとイメージメディア. 2004-CVIM-142(3). 17-22 (2004)
• [Publications] 八尾智幸, 小原ゆう, 柴田史久, 馬場口登, 八木康史: "テレビ視聴行動からの個人的選好獲得のための行動認識"電子情報通信学会技術研究報告. PRMU2003-209. 65-70 (2003)
• [Publications] 國田, 羽山, 吉松, 有田, 谷口: "遠隔地コミュニケーショシのための実時間人物仮想化"情報処理学会火の国情報シンポジウム. (2004)
• [Publications] 吉松, 国田, 羽山, 有田, 谷口: "Real-time Human Proxyにおけるユーザ情報の獲得とシンボル化"電子情報通信学会総合大会. (2004)
• [Publications] 羽山, 国田, 吉松, 有田, 谷口: "Real-time Human Proxyにおける仮想空間の構築"電子情報通信学会総合大会. (2004)
• [Publications] D.Arita, R.Taniguchi: "Non-verbal Human Communication Using Avatars in a Virtual Space"International Conference on Knowledge-Based Intelligent Information and Engineering Systems. 1077-1084 (2003)
• [Publications] M.Kunita, H.Yoshimatsu, D.Hayama, D.Arita, R.Taniguchi: "Real-time Human Proxy : An Avatar-based Interaction System"Korea-Japan Joint Workshop on Frontiers of Computer Vision. 71-76 (2004)
• [Publications] Makoto Hatakeyama, Tomohisa Hatada, Toyoaki Nishida: "Robot and Human Communication Using Bodily Expressions"SICE Annual Conference 2003. TAI-11-1 (2003)
• [Publications] 大竹麗央, 西田豊明: "利己的な異種エージェント間の協調のためのソーシャルルール"JAWS2003. 216-221 (2003)
• [Publications] 大竹麗央, 西田豊明: "複雑な環境におけるマルチエージェントの協調方式の設計"人工知能学会全国大会(第17回)論文集. 3D1-02 (2003)
• [Publications] 李清, 中野有紀子, 西田豊明: "Gestures realization for Embodied Conversational Agents"人工知能学会全国大会(第17回)論文集. 3D1-07 (2003)
• [Publications] Burin Anuchitkittikul, Sadao Kurohashi, Toyoaki Nishida: "A Framework for Interactive Video Based Explanatory System"人工知能学会全国大会(第17回)論文集. 2C1-04 (2003)
• [Publications] Burin Anuchitkittikul, Masashi Okamoto, Hidekazu Kubota, Toyoaki Nishida: "Gestural Interface for the Creation of Personalized Video-Based Content"The 2nd International Conference on Information Technology for Application (ICITA 2004). (2003)
• [Publications] Q.Li, Y.Nakano, M.Okamoto, T.Nishida: "Highlighting Multimodal Synchronization for Embodied Conversational Agents"The 2nd International Conference on Information Technology for Application (ICITA 2004). (2003)
• [Publications] 田島敬士, 西田豊明: "人間とロボットの感情的インタラクション"人工知能学会全国大会(第17回)論文集. 1D1-04 (2003)
• [Publications] 久保田秀和, 黒橋禎夫, 西田豊明: "知識カードを用いた分身エージェント"電子情報通信学会論文誌 「ソフトウェアエージェントとその応用論文特集」. volJ86-D-I, No.8. 600-607 (2003)
• [Publications] 久保田秀和, 西田豊明: "知識チャンネルを用いた戦略的な知識流通手法"人工知能学会全国大会(第17回)論文集. 1G2-03 (2003)
• [Publications] Hidekazu Kubota, Toyoaki Nishida: "Channel Design for Strategic Knowledge Interaction"International Conference on Knowledge-Based Intelligent Information and Engineering Systems (KES2003). (2003)
• [Publications] Daisuke Kawahara, Sadao Kurohashi: "Zero Pronoun Resolution based on Automatically Constructed Case Frames and Structural Preference of Antecedents"The 1st International Joint Conference on Natural Language Processing (IJCNLP-04). (to appear). (2004)
• [Publications] Eiji Aramaki, Sadao Kurohashi, Hideki Kashioka, Hideki Tanaka: "Example-based Machine Translation without Saying Inferable Predicate"The 1st International Joint Conference on Natural Language Processing (IJCNLP-04). (to appear). (2004)
• [Publications] Yoji Kiyota, Sadao Kurohashi, Fuyuko Kido: "Modifier-head Relation Gap Resolution using Automatically Extracted Metonymic Expressions"The 1st International Joint Conference on Natural Language Processing (IJCNLP-04). (to appear). (2004)
• [Publications] 荒牧英治, 黒橋禎夫, 柏岡秀紀, 田中英輝: "用例ベース翻訳のための日英アライメント確信度と日本語類似度を用いた訳語選択"自然言語処理. Vol.11, No.1. 107-123 (2004)
• [Publications] 鍜治伸裕, 黒橋禎夫: "迂言表現と重複表現の認識と言い換え"自然言語処理. Vol.11, No.1. 81-106 (2004)
• [Publications] 荒牧英治, 黒橋禎夫, 佐藤理史, 渡辺日出雄: "用例ベース翻訳のための対訳文の句アライメント"自然言語処理. Vol.10, No.5. 75-92 (2003)
• [Publications] Tomohide Shibata, Daisuke Kawahara, Masashi Okamoto, Sadao Kurohashi, Toyoaki Nishida: "Structural Analysis of Instruction Utterances"International Conference Knowledge-Based Intelligent Information & Engineering Systems (KES2003). 1054-1061 (2003)
• [Publications] Yoji Kiyota, Sadao Kurohashi, Teruhisa Misu, Kazunori Komatani, Tetsuya Kawahara, Fuyuko Kido: "Dialog Navigator : A Spoken Dialog Q-A System based on Large Text Knowledge Base"The Companion Volume to the Proceedings of 41st Annual Meeting of the Association for Computer Linguistics (ACL 2003 Interactive Posters/Demonstrations Sessions). 149-152 (2003)
• [Publications] 清田陽司, 黒橋禎夫, 木戸冬子: "大規模テキスト知識ベースに基づく自動質問応答 -ダイアログナビ-"自然言語処理. Vol.10, No.4. 145-175 (2003)
• [Publications] Sadao Kurohashi, Kiyotaka Uchimoto: "SENSEVAL-2 Japanese Translation Task"自然言語処理. Vol.10, No.3. 25-37 (2003)
• [Publications] 畠山誠, 西田豊明: "同調動作に基づくロボットと人間のコミュニケーション"人工知能学会全国大会(第17回)論文集. 1D1-05 (2003)
• [Publications] 畑田寛久, 畠山誠, 西田豊明: "ロボットと人とのコミュニケーションの誘進的確立"人工知能学会全国大会(第17回)論文集. 1D1-06 (2003)
• [Publications] 大竹麗央, 松村真宏, 西田豊明: "実測データに適合するマルチエージェント環境の構築"情報処理学会第66回全国大会. 分冊2. 81-82 (2004)
• [Publications] 田島敬士, 西田豊明: "同調・変調によるマニュアルレスインタラクション"ヒューマン情報処理研究会. (2003)
• [Publications] Eiji Aramaki, Sadao Kurohashi, Hideki Kashioka, Hideki Tanaka: "Word Selection for EBMT based on Monolingual Similarity and Translation Confidence"HLT-NAACL 2003 Workshop on Building and Using Parallel Texts. 57-64 (2003)
• [Publications] 河原大輔, 黒橋禎夫: "語の大域的多義性解消に基づく省略解析の精度向上"言語処理学会 第10回年次大会. 769-772 (2004)
• [Publications] 清田陽司, 黒橋禎夫, 木戸冬子: "自動抽出した換喩表現を用いた質問応答システムの改良"言語処理学会 第10回年次大会. 305-308 (2004)
• [Publications] 荒牧英治, 黒橋禎夫, 柏岡秀紀, 田中英輝: "用言訳出のずれを解消する用例ベース翻訳"言語処理学会 第10回年次大会. 45-48 (2004)
• [Publications] 鍜治伸裕, 岡本雅史, 黒橋禎夫: "WWWを用いた書き言葉特有語彙から話し言葉語彙への言い換え"言語処理学会 第10回年次大会. 500-503 (2004)
• [Publications] 柴田知秀, 立木将人, 河原大輔, 岡本雅史, 黒橋禎夫, 西田豊明: "言語情報と映像情報の統合による教示発話の構造解析"言語処理学会 第10回年次大会. 532-535 (2004)
• [Publications] 鍜治伸裕, 岡本雅史, 黒橋禎夫: "Webコーパスと国語辞典を用いた書き言葉から話し言葉への言い換え"日本語用論学会第6回(2003年度)大会 ワークショップ. 64-67 (2003)
• [Publications] 岡本雅史, 堀哲厳, 黒橋禎夫: "会話の「場」を生み出す一貫性の諸相"日本語用論学会第6回(2003年度)大会 ワークショップ. 68-71 (2003)
• [Publications] 松村真宏, 河原大輔, 岡本雅史, 黒橋禎夫, 西田豊明: "文の背後に潜む「問い」の抽出"人工知能学会 ことば工学研究会. SIG-LSE-A301. 1-7 (2003)
• [Publications] R.Ogata, Y.Nakamura, Y.Ohta: "Computational Video Editing Model based on Optimization with Constraint-Satisfaction"Fourth Pacific-Rim Conference on Multimedia. (CD-ROM, 2A1-2). 6 (2003)
• [Publications] 尾関基行, 中村裕一, 大田友一: "机上作業シーンの自動撮影のためのカメラワーク"信学論. Vol.DII^J86. 1606-1617 (2003)
• [Publications] H.Izuno, Y.Nakamura, Y.Ohta: "QUEVICO QA Model for Video-based Interactive Media"Third International Workshop on Content-Based Multimedia Indexing. 413-420 (2003)
• [Publications] 尾関基行, 中村裕一, 大田友一: "机上作業映像のためのイベント駆動型自動編集手法"信学技報. PRMU-2003-45. 7-12 (2003)
• [Publications] 村山正司, 中村裕一, 大田友一: "DocScape:文章の概覧性を高めるための概念図の生成と利用"情報処理学会論文誌. Vol.44-4. 1150-1162 (2003)
• [Publications] M.Ozeki, H.Izuno, M.Itoh, Y.Nakamura, Y.Ohta: "Object Tracking and Task Recognition for Producing Intaractive Video Content --- Semi-automatic indexing for QUEVICO"IEEE Conference on Multisensor Fusion and Integration for Intelligent Systems. 1044-1053 (2003)
• [Publications] M.Itoh, M.Ozeki, Y.Nakamura, Y.Ohta: "Simple and Robust Tracking of Hands and Objects for Video-based Multimedia Production"IEEE Conference on Multisensor Fusion and Integration for Intelligent Systems. 252-257 (2003)
• [Publications] 尾形涼, 尾関基行, 中村裕一, 大田友一: "制約と評価関数に基づいた映像編集モデル"信学技報. PRMU-2003-46. 13-18 (2003)
• [Publications] 伊藤雅嗣, 尾関基行, 中村裕一, 大田友一: "映像インデキシングのための手と把持物体のロバストな認識と追跡"画像センシングシンポジウム. 277-282 (2003)
• [Publications] Tsuruoka, Yoshimasa, Jun'ichi Tsujii: "Iterative CKY parsing for probabilistic context-free grammars"IJCNLP-04. (to appear). (2004)
• [Publications] Miyao, Yusuke, Takashi Ninomiya, Jun'ichi Tsujii: "Corpus-oriented Grammar Development for Acquiring a Head-driven Phrase Structure Grammar from the Penn Treebank"IJCNLP-04. (to appear). (2004)
• [Publications] Ninomiya, Takashi, Yusuke Miyao, Jun'ichi Tsujii: "A Persistent Feature-Object Database for Intelligent Text Archive Systems"IJCNLP-04. (to appear). (2004)
• [Publications] Masuda, Katsuya, Takashi Ninomiya, Yusuke Miyao, Tomoko Ohta, Jun'ichi Tsujii: "A Robust Retrieval Engine for Proximal and Structural Search"HLT-NAACL 2003 Short papers. 58-60 (2003)
• [Publications] 増田勝也, 二宮崇, 宮尾祐介, 辻井潤一: "領域代数を用いた構造化テキスト検索の頑健でスケーラブルなモデル"言語処理学会第10回年次大会論文集. 377-380 (2004)
• [Publications] 小松孝徳, 鈴木健太郎, 植田一博, 開一夫, 岡 夏樹: "発話理解学習を利用した適応的インターフェイス-人間同士のコミュニケーション成立過程からの知見"システム制御情報学会論文誌. vol.16(6). 260-269 (2003)
• [Publications] Komatsu, T., Utsunomiya, A., Suzuki, K., Ueda, K., Hiraki, K., Oka, N.: "A meaning acquisition model which recognizes user's speeches like a pet animal is doing"The 2nd International Conference on Computational Intelligence, Robotics and Automation Systems (CIRAS2003). (2003)
• [Publications] Komatsu, T., Utsunomiya, A., Suzuki, K., Ueda, K., Hiraki, K., Oka, N.: "Toward a Mutual Adaptive Interface by Utilizing a User's Cognitive Features"IEEE International Symposium on Computational Intelligence in Robotics and Automation (IEEE/CIRA2003). 1102-1107 (2003)
• [Publications] 羽山 博, 植田 一博: "ユーザの適応を促すインタフェースの開発と評価:バージョンアップ時の差分明示による効果"日本認知科学会第20回大会論文集. 40-41 (2003)
• [Publications] Komatsu, T., Utsunomiya, A., Ueda, K., Oka, N.: "Can you communicate with me? - An experimental design how humans regard artificial agents as communication partners"The 12th International Workshop on Robot and Human Interactive Communication (RO-MAN 2003). (2003)
• [Publications] Komatsu, T., Utsunomiya, A., Suzuki, K., Ueda, K., Hiraki, K., Oka, N.: "Toward a Mutual Adaptive Interface : An interface induces a user's adaptation and utilizes this induced adaptation, and vice versa"The 25th Annual Meeting of the Cognitive Science Society (CogSci2003). 687-692 (2003)
• [Publications] 榎本美香, 伝康晴: "3人会話における参与役割の交替に関わる非言語行動の分析"人工知能学会研究会資料. SIG-SLUD-A301. 25-30 (2003)
• [Publications] 伝康晴: "動作の言語学"日本認知科学会「学習と対話」研究分科会. SIGLAL2003-2. 52-57 (2003)
• [Publications] Gal Kaminka, Ian Frank, Katsuto Arai, Kumiko Tanaka-Ishii: "Progress through performance competitions? A large-scale comparative study of multi-agent teams"A large-scale comparative study of multi-agent teams. Journal of Autonomous Agents and Multi-Agent Systems. 1-30 (2003)
• [Publications] Robson Magario Hayashida, Kumiko Tanaka-Ishii: "Towards a conversation training system using a virtual human agent"International Joint Conference on Natual Language Processing (Demo Session). (to appear). (2004)