人間同士の自然なコミュニケーションを支援する知能メディア技術

2002 Fiscal Year Annual Research Report

• Project/Area Number: 13GS0003
• Research Institution: The University of Tokyo
• Principal Investigator: 西田 豊明 東京大学, 大学院・情報理工学系研究科, 教授 (70135531)
• Co-Investigator(Kenkyū-buntansha): 谷口 倫一郎 九州大学, 大学院・システム情報科学研究院, 教授 (20136550) ; 辻井 潤一 東京大学, 大学院・情報理工学系研究科, 教授 (20026313) ; 美濃 導彦 京都大学, 学術情報メディアセンター, 教授 (70166099) ; 中村 裕一 筑波大学, 機能工学系, 助教授 (40227947) ; 馬場口 登 大阪大学, 大学院・工学研究科, 教授 (30156541)
• Keywords: コミュニケーション / 知能メディア技術 / 環境メディア / 対話環境 / 会話エージェント / 対話的映像メディア / コミュニケーションの統合モデル / 対話データのアーカイブ

Research Abstract

1.環境メディア技術
人間同士のコミュニケーションを自然な形で観測し,観測結果を基にさまざまなサポートを行う環境メディアを実現するために,教室環境メディアと対話型環境メディアの2つの場面で研究を進めた.実世界をマルチメディア表現したものと考えられる映像メディアを対象に個人適応における獲得・利用フェーズについて検討した.応用としての分散講義のための没入型仮想環境を目指して,映像による実時間身体姿勢推定の性能評価と,講師に関する動作情報から意図を表す情報の獲得と,獲得された動作情報と事前知識から講師アバタを動作させる研究を行った.
2.会話エージェント技術
知識カードに駆動された会話エージェント,身体を持つ会話エージェントのコミュニケーションモデル,会話エージェントのコンテンツ生成のためのメディア変換,会話型コンテンツ処理のための言語基盤の研究開発を行った.対話的映像メディアのためのQAモデル,画像処理,動作認識を用いた映像インデキシング,大量映像データ蓄積のための新しい自然言語処理と映像処理の統合について研究を行い,成果を得た.
3.対話のコミュニケーション・モデル
索引技術,ランク付近接構造検索,オントロジー獲得,確率モデルの確率の信頼性を検証する研究を行い成果を得た.適応的インタフェースの開発と評価を通して,人間(ユーザ)と人工物の自然なインタラクションを支援する研究を行った.マルチモーダル会話コーパスの作成のための検討を行うととちに,コミュニケーション過程で交換される非言語情報の一つとして笑いを取り上げ、その音韻論的特徴をクラスター分析によってとらえることを試みて成果を得た.実況システム及びチアリーディング,携帯端末のための入力システム,言語学習システム閻魔の研究開発を行った.

Research Products

• [Publications] 村上 正行, 角所考, 美濃導彦: "マルチメディア一斉講義における内容に基づく受講生の注視行動の分析"人工知能学会誌. 17・4. 473-480 (2002)
• [Publications] Murakami, M., Kakusho, K., Minoh, M.: "Analysis of Students'Eye Movement in Relation to Contents of Multimedia Lecture"E-Learn 2002. 1965-1968 (2002)
• [Publications] 村上正行, 西口敏司, 亀田能成: "講義自動撮影システムの導入に伴う講師・受講生への影響"信学技報MVE. (2003)
• [Publications] 伊藤淳子, 角所 考, 美濃導彦: "顔メディアに注目したコミュニケーションの分析"情報処理学会第64回(平成14年)全国大会講演論文集. 4-555-4-561 (2002)
• [Publications] Junko ITOU, Koh KAKUSHO, Michihiko MINOH: "Observing Human Faces in Communication to Understand the Atmosphere"International Workshop on Intelligent Media Technology for Communicative Reality in conjunction with PRICAI-02. (2002)
• [Publications] 伊藤淳子, 角所 考, 美濃導彦: "対話者の顔観測に基づく対面コミュニケーションの状況分析"第1回情報科学技術フォーラム(平成14年)講演論文集. vol.3. 395-396 (2002)
• [Publications] 伊藤 淳子, 角所 考, 美濃 導彦: "親密性平衡モデルに基づくCGキャラクタ同士の会話映像における雰囲気の制御"信学技報HIP. (2003)
• [Publications] 西口敏司, 東 和秀, 亀田能成, 美濃導彦: "複数センサ情報に基づく話者状況の理解"信学技報MVE. (2003)
• [Publications] 桂田浩一, 小山誠, 大原剛三, 馬場口登, 北橋忠宏: "文書分類システムの分類誤りに着目した分類ルール修正法"情報処理学会論文誌. 43・6. 1880-1889 (2002)
• [Publications] 新田直子, 馬場口登: "放送型スポーツ映像の構造解析に基づく意味内容情報の獲得"情報技術レターズ. 161-162 (2002)
• [Publications] 宮内進吾, 馬場口登, 北橋忠宏: "テキスト・音声・画像の協調的処理による放送型スポーツ映像におけるハイライト検出とインデクシング"電子情報通信学会論文誌(D-II). J85-D-II-11. 1692-1700 (2002)
• [Publications] 柴田 史久, 上甲 貴広, 馬場口 登, 北橋 忠宏: "屋内向け歩行者ナビゲーションシステムにおけるユーザの状況を考慮した目的地推論手法"情報処理学会論文誌. 43・12. 3809-3817 (2002)
• [Publications] N.Naoko, N.Babaguchi, T.Kitahashi: "Generating Semantic Descriptions of Broadcasted Sports Video Based on Structnre of Sports Game"Multimedia Tools and Applications. (2003)
• [Publications] N.Babaguchi, Y.Kawai, T.Ogura, T.Kitahashi: "Personalized Abstraction of Broadcasted American Football Video by Highlight Selection"IEEE Trans. Multimedia. (2003)
• [Publications] 岡本啓嗣, 馬場口登, 北橋忠宏: "固定長の時空間画像に基づく映像シーンのクラスタリング"電子情報通信学会論文誌(D-II). J86-D-II-6. (2003)
• [Publications] S.Miyauchi, A.Hirano, N.Babaguchi, T.Kitahashi: "Collaborative Multimedia Analysis for Detecting Semantical Events from Broadcasted Sports Video"Proceedings of 16th International Conference on Pattern Recognition (16th ICPR). 1009-1012 (2002)
• [Publications] N.Nitta, N.Babaguchi, T.Kitahashi: "Story Based Representation for Broadcasted Sports Video and Automatic Story Segmentation"Proceedings of 2002 IEEE International Conference on Multimedia and Expo (ICME2002). 813-816 (2002)
• [Publications] H.Okamoto, Y.Yasugi, N.Babaguchi, T.Kitahashi: "Video Clustering Using Spatio-Temporal Image with Fixed Length"Proceedings of 2002 IEEE International Conference on Multimedia and Expo (ICME2002). 53-56 (2002)
• [Publications] T.Ogura, N.Babaguchi, T.Kitahashi: "Video Portal for a Media Space of Structured Video Streams"Proceedings of 2002 IEEE International Conference on Multimedia and Expo (ICME2002). 309-312 (2002)
• [Publications] F.Shibata, T.Joukou, N.Babaguchi, T.Kitahashi: "Inference Mechanism in Personalized Pedestrian Navigation System"Working Notes of International Workshop on Intelligent Media Technology for Communicative Reality. 34-39 (2002)
• [Publications] N.Babaguchi, Y.Fujimoto, K.Yamazawa, N.Yokoya: "A System for Visualization and Summarization of Omnidirectional Surveillance Video"Proceedings of 8th International Workshop on Multimedia Information Systems (MIS2002). 18-27 (2002)
• [Publications] N.Nitta, N.Bahaguchi: "Automatic Story Segmentation of Closed-Caption Text for Semantic Content Analysis of Broadcasted Sports Video"Proceedings of 8th International Workshop on Multimedia Information Systems (MIS2002). 110-116 (2002)
• [Publications] 馬場口登: "映像メディアの検索と要約"マテリアルインテグレーション. 15・8. 72-76 (2002)
• [Publications] 馬場口登: "放送型映像のインデクシングと要約"システム/制御/情報. 46・12. 732-737 (2002)
• [Publications] R.Taniguchi, S.Yonemoto, D.Arita, R.Hoshino: "Real-time Human Motion Analysis for Human-Machine Interface"Advanced Visual Interfaces 2002. 195-202 (2002)
• [Publications] 星野, 米元, 有田, 谷口: "映像からの実時間身体姿勢計測-高精度化と頑健化を目指して-"電気学会研究会資料. 37-42 (2002)
• [Publications] R.Hoshino, D.Arita, S.Yonemoto, R.Taniguchi: "Real-time Human Motion Analysis based on Silhouette Contour and Color Blob Analysis"Second International Workshop on Articulated Motion and Deformable Objects. 92-103 (2002)
• [Publications] N.Date, H.Yoshimoto, D.Arita, S.Yonemoto, R.Taniguchi: "Performance Evaluation of Vision-based Real-time Motion Capture, Worksbop on Parallel and Distributed Image Processing"Video Processing, and Multimedia(PDIVM'2003). (2003)
• [Publications] D.Arita, R.Taniguchi: "A Virtual Environment for Immersive Distance Learning"International Workshop on Intelligent Media Technology for Communicative Reality. 12-17 (2002)
• [Publications] 有田, 谷口: "分散講義のための没入型仮想環境構築における非言語情報の獲得"情処研報コンピュータビジョンとイメージメディア(2002-CVIM-134). 49-54 (2002)
• [Publications] 吉松, 有田, 谷口: "没入型分散講義における講師についての非言語情報のシンボル化"電子情報通信学会総合大会. (2003)
• [Publications] 羽山, 花田, 吉本, 有田, 谷口: "没入型分散講義における自然な振る舞いをする講師アバタの実現"電子情報通信学会総合大会. (2003)
• [Publications] Toyoaki Nishida: "A Traveling Conversation Model for Dynamic Knowledge Interaction"Journal of Knowledge Management. 6・2. 124-134 (2002)
• [Publications] T.Nishida: "Social Intelligence Design for Web Intelligence, Special Issue on Web Intelligence"IEEE Computer. 35・11. 37-41 (2002)
• [Publications] Toyoaki Nishida: "Communicative Reality for Social Intelligence Design"The IEEE International Workshop on Knowledge Media Networking (KMN'02). (2002)
• [Publications] Hidekazu Kubota, Koji Yamashita, Toyoaki Nishida: "Conversational Contents Making a Comment Automatically"Proc. KES 2002. 1326-1330 (2002)
• [Publications] 西田豊明: "コミュニティにおけるHAI"人工知能学会誌. 17・6. 665-671 (2002)
• [Publications] 畠山誠, 西田豊明: "ロボットによる身体動作表現を用いたコミュニケーションの実現"人工知能学会全国大会(第16回)論文集. (2002)
• [Publications] 田島敬士, 黒橋禎夫, 西田豊明: "動態に関わる副詞のオントロジー"人工知能学会第16回全国大会. (2002)
• [Publications] 西室洋介, 鎌田健一, 成松深, 黒橋禎夫, 西田豊明: "メッセージの知的集約方式"人工知能学会第16回全国大会. (2002)
• [Publications] Yoshihiro Tooyama, Li.Qing, Toyoaki Nishida., Sadao Kurobashi: "Conversational speech synthesis model for virtualized-egos"人工知能学会第16回全国大会. (2002)
• [Publications] Burin Anuchitkittikul, Toyoaki Nishida. Sadao Kurohashi: "Intelligent support for the creation of interactive content"人工知能学会第16回全国大会. (2002)
• [Publications] Hidekazu Kubota, Sadao Kurohashi, Toyoaki Nishida: "Virtualized-egos using Knowledge Cards., Workshop notes"PRICAI02 International Workshop on Intelligent Media Technology for Communicative Reality. (2002)
• [Publications] 田島敬士, 西田豊明: "動態に関わる副詞のオントロジー"第11回ことば工学研究会. (2002)
• [Publications] 西田豊明: "人間同士の自然なコミュニケーションを支援する知能メディア技術"FIT. (2002)
• [Publications] Daisuke Kawahara, Sadao Kurohashi, Koichi Hasida: "Construction of a Japanese Relevance-tagged Corpus"Proceedings of The Third International Conference on Language Resources & Evaluation. (2002)
• [Publications] Kaji Nobuhiro, Daisuke Kawahara, Sadao Kurohashi, Satoshi Sato: "Verb Paraphrase based on Case Frame Alignment"Proceedings of 40th Annual Meeting of the Association for Computational Linguistics (ACLO2). 215-222 (2002)
• [Publications] Daisuke Kawahara, Sadao Kurohashi: "Fertilization of Case Frame Dictionary for Robust Japanese Case Analysis"Proceedings of 19th COLING (COLINGO2). 425-431 (2002)
• [Publications] Youji Kiyota, Sadao Kurohashi, Fuyuko Kido: ""Dialog Navigator" A Question Answering System based on Large Text Knowledge Base"Proceedings of 19th COLING (COLINGO2). 460-466 (2002)
• [Publications] 黒橋禎夫, 清田陽司, 木戸冬子: "招待講演:自動質問応答システム・ダイアログナビの現状と課題"情報処理学会研究会音声言語情報処理. 43・4. 19-24 (2002)
• [Publications] 荒牧英治, 黒橋禎夫, 柏岡秀紀, 田中英輝: "日英ニュース記事を用いた用例ベース翻訳システム"言語処理学会第9回年次大会. (2003)
• [Publications] 西田悠介, 柴田知秀, 河原大輔, 岡本雅史, 黒橋禎夫, 西田豊明: "料理教示発話の構造解析"言語処理学会第9回年次大会. (2003)
• [Publications] 河原大輔, 黒橋禎夫: "自動構築した格フレーム辞書に基づく省略解析の大規模評価"言語処理学会第9回年次大会. (2003)
• [Publications] 柴田知秀, 河原大輔, 黒橋禎夫: "主題と文章構造の解析に基づくスライドの自動生成"言語処理学会第9回年次大会. (2003)
• [Publications] 大泉敏貴, 鍛治伸裕, 河原大輔, 岡本雅史, 黒橋禎夫, 西田豊明: "書きことばから話しことばへの変換"言語処理学会第9回年次大会. (2003)
• [Publications] 村山正司, 中村裕一, 大田友一: "DocScape:文章の概覧性を高めるための概念図の生成と利用"情報処理学会論文誌. 44・4. (2003)
• [Publications] M.Ozeki, Y.Nakamura, Y.Ohta: "Human Behavior Recognition for an Intelligent Video Production System"Pacific-Rim Conference on Multimedia. 1153-1160 (2002)
• [Publications] S.Kubota, Y.Nakamura, Y.Ohta: "Detecting Scenes of Attention from Personal View Records -Motion estimation improvements and cooperative use of a surveillance camera"Proc. IAPR Workshop on Machine Vision and Applications. 209-213 (2002)
• [Publications] Y.Nakamura, M.Ozeki, Y.Ohta: "An Intelligent System for Capturing Presentation on Desktop Manipulations -Supporting for Video Contents Production"Virtual Environments for Teaching and Learning. 363-393 (2002)
• [Publications] 尾形涼, 尾関基行, 中村裕一, 大田友一: "遠隔サイト間で注目を共有するための映像撮影・選択・伝送システム"第一回情報科学技術フォーラム. K42 (2002)
• [Publications] M.Murayama, Y.Nakamura, Y.Ohta: "Flexible Diagram Generation from Tagged Texts"Proc. Sixth Int'l Conference on Knowledge-Based Intelligent Information & Engineering Systems. 582-587 (2002)
• [Publications] H.Izuno, Y.Nakamura, Y.Ohta: "QUEVICO : A Framework for Video-based Interactive Media"Int'l Workshop on Intelligent Media Technology for Communicative Reality. 6-11 (2002)
• [Publications] M.Ozeki, M.Itoh, Y.Nakamura, Y.Ohta: "Tracking Hands and Objects for an Intelligent Video Production System"Proc. IAPR 16th Int'l Conference on Pattern Recognition. III. 1011-1015 (2002)
• [Publications] 久保田敏司, 中村裕一, 大田友一: "個人行動記録システムにおける注目シーンの検出-注目シーン検出の高精度化と環境カメラの利用-"信学技報. PRMU-2002-6. 47-52 (2002)
• [Publications] 伊藤雅嗣, 尾関基行, 中村裕一, 大田友一: "映像メディア取得のための手と把持物体の追跡と認識-多種類の画像センサによるロバストな実時間追跡-"信学技報. PRMU-2002-26. 43-50 (2002)
• [Publications] 村山正司, 中村裕一, 大田友一: "タグ付け文書からの多様な概念図の生成"情処研報. DD32-4. (2002)
• [Publications] Takashi Ninomiya, Yusuke Miyao, Jun'ichi Tsujii: "Lenient Default Unification for Robust Processing within Unification Based Grammar Formalisms"Proceedings of the 19th International Conference on Computational Linguistics (COLING2002). 744-750 (2002)
• [Publications] Takashi Ninomiya, Takaki Makino, Jun'ichi Tsujii: "An Indexing Scheme for Typed Feature Structures"Proceedings of the 19th International Conference on Computational Linguistics (COLING2002). 1248-1252 (2002)
• [Publications] Yoshida Minoru: "Extracting Attributes and Their Values from Web Pages"the Proceedings of the ACL 2002 Student Research Workshop. 72-77 (2002)
• [Publications] 吉田 和弘, 鶴岡 慶雅, 宮尾祐介, 辻井潤一: "確率的言語モデルにおけるパラメータの確率分布を推定する手法とその応用"言語処理学会第9回年次大会論文集. (2003)
• [Publications] 坂尾 要祐, 宮尾 祐介, 辻井潤一: "構文解析における非局所的な評価値の構成的計算"言語処理学会第9回年次大会論文集. (2003)
• [Publications] Komatsu, T., Suzuki, K., Oka, N., Ueda, K.Hiraki, K.: "What is Important for Realizing an Autonomous Interactive Robot?"Proceedings of the Seventh International Conference on the Simulation of Adaptive Behavior (SAB'02). 399-400 (2002)
• [Publications] Komatsu, T., Suzuki, K., Ueda, K., Hiraki, K.Oka, N.: "Mutual Adaptive Meaning Acquisition by Paralanguage Information : Experimental Analysis of Communication Establishing Process"Proceedings of the 24th Annual Conference of the Cognitive Science Society. 548-553 (2002)
• [Publications] Komatsu, T., Suzuki, K., Ueda, K., Hiraki, K.Oka, N.: "Construction of a Meaning Acquisition Model : From the Perspective of Human-Human Interaction"Proceedings of International Workshop on Intelligent Media Technology for Communicative Reality. 55-60 (2002)
• [Publications] Utsunomiya, A., Komatsu, T., Suzuki, K., Ueda, K., Hiraki, K.Oka, H.: "Construction of a meaning acquisition model using prosodic information : Toward a smooth human-agent interaction"Proceedings of Human-Computer Interaction 2003. (2003)
• [Publications] Hayama, H., Ueda, K.: "Difference Presentation : A Method for Facilitating Users' Adaptation to Software Upgrade"Proceedings of Human-Computer Interaction 2003. (2003)
• [Publications] 伝 康晴: "言語・非言語情報を統合したマルチモーダル会話コーパス"人工知能学会全国大会(第16回)論文集. (2002)
• [Publications] 伝 康晴: "言語学的対象のオントロジー"人工知能学会研究会資料. SIG-SLUD-A202. 39-44 (2002)
• [Publications] Hideya Iwasaki, Kumiko Tanaka-Ishii: "A context sensitive proofreading tool for ideogrammic homonym errors based on naive bayesian method"電子通信情報学会英文論文誌. (2003)
• [Publications] Naohiro Matsunami, Kumiko Tanaka-Ishii, Ian Frank, Hitoshi Matsubara: "Cheerleading soccer commentary robots"International Workshop on Intelligent Media Technology for Communicative Reality. 18-23 (2002)
• [Publications] Naohiro Matsunami, Kumiko Tanaka-Ishii, Ian Frank, Hitoshi Matsubara: "LEGO windstorms cheer leading robots"International Workshop on Entertainment Computing. 191-199 (2002)
• [Publications] Kumiko Tanaka-Ishii, Yusuke Inutsuka, Masato Takeichi: "Entering text using a four button device"the 19th International Conference on Computational Linguistics. 988-994 (2002)
• [Publications] 阿部倫子, 田中久美子, 中川裕志: "コメントを用いた映画の分類"情報処理学会処理研究会. 150. 105-109 (2002)
• [Publications] 田中久美子, 犬塚祐介, 武市正人: "携帯電話の10keyを用いた日本語入力"情報処理学会論文誌. 43・10. 3087-3096 (2002)
• [Publications] 田中久美子, 犬塚祐介, 武市正人: "少数キーを用いた日本語入力"情報処理学会論文誌. 3087-3096 (2003)
• [Publications] 田中久美子, 山本真人, 中川裕志: "検索に基づく多言語動的KWIC"情報処理学会処理研究. 152. 115-122 (2002)
• [Publications] 田中久美子, 早川大地, 武市正人, 玉井哲雄: "ユーザ文書を用いた個別かな漢字変換支援"情報処理学会処理研究会. 152. 153-160 (2002)
• [Publications] 田中久美子, 筧一彦, 武市正人: "閻魔:Webインターフェースを用いたプログラミング教育支援システム"情報教育研究集会論文集. 565-568 (2002)