人間の動作解析に基づく感情と意図の理解およびそのコミュニケーションへの応用

2003 年度 実績報告書

• 研究課題/領域番号: 14208037
• 研究機関: 神戸大学
• 研究代表者: 有木 康雄 神戸大学, 都市安全研究センター, 教授 (10135519)
• 研究分担者: 熊野 雅仁 龍谷大学, 理工学部, 実験助手 (50319498) ; 服部 元史 神奈川工科大学, 情報工学科, 助教授 (00252792) ; 上原 邦昭 神戸大学, 自然科学研究科, 教授 (60160206)
• キーワード: データマイニング / 画像認識 / 音声認識 / 感情 / コミュニケーション / 動作解析 / 意図理解 / モーションキャプチャ

研究概要

人間と共生する機械を実現するために、データマイニング・画像認識・音声認識・感性情報処理により、人間の身体動作の癖やその内面にある感情に焦点を絞ったコミュニケーション方式の研究を行った。
1.モーションデータからの規則性の発見に関する研究(上原)
本テーマでは、動作データから、モチーフと呼ばれる頻出する未知のパターンをPCA(主成分分析)とMDL原理を用いて発見する手法を開発した。具体的には、PCAを用いて多次元時系列データを1次元時系列データに変換している。さらに、MDL原理を用いてモチーフの時間幅を動的に発見している。
2.身体運動の型と感情の質の解析(服部)
本テーマでは、表情データからの基本単位の抽出と感情の認識の手法を開発した。本手法では、有限要素法により顔の特徴点の位置情報を力情報に変換し、さらにデータマイニングを適用して、表情の相関ルールを基本単位として抽出している。さらに、相関ルールを利用して未知の表情データから感情の認識を行っている。
3.人間の動作解析と音声・画像認識の統合による意図理解(有木・熊野)
基本動作認識と音声認識、画像認識を統合する研究、並びに動作の意図を理解する研究を行った。教室のような場所で、大型ディスプレイに映っている人や物を指し示し、名前やその情報を検索するタスクにおいて、次の研究を行った。(1)マイクロフォンアレイを使ったハンズフリー音声認識で、精度の高い音声認識手法、(2)特殊な装置を用いずに、指先だけで指示する手法、(3)大型ディスプレイに映っているコンテンツを解析して索引付・構造化し、検索の意図を理解する手法を研究した。

研究成果

• [文献書誌] 緒方淳: "日本語話し言葉音声認識のための音節に基づく音響モデリング"電子情報通信学会論文誌. Vol.J86-DII, No.11. 1523-1530 (2003)
• [文献書誌] Masakiyo Fujimoto: "Hands-Free Speech Recognition in Real Environments Using Microphone Array and 2-Levels MLLR Adaptation as a Front-End System for Conversational TV"Acoustical Science and Technology. Vol.24, No.6. 379-381 (2003)
• [文献書誌] 熊野雅仁: "映像文法に基づいた映像編集支援システムのための使用可能なショット区間の自動抽出"映像メディア学会誌. Vol.57, No.7. 829-839 (2003)
• [文献書誌] 馬場口 登: "マルチメディア情報の高次処理"人工知能学会誌. Vol18, No.3. 207-316 (2003)
• [文献書誌] Yasuo Ariki: "Highlight Scene Extraction in Real Time from Baseball Live Video"Proc.of ACM Multimedia 2003 Workshops. 35-40 (2003)
• [文献書誌] Masakiyo Fujimoto: "Full Automatic Segmentation of Goods Catalog Video into Individual Goods Section by Integrating Speech and Image Information"CBMI2003. 35-40 (2003)
• [文献書誌] Jun Ogata: "Syllable-Based Acoustic Modeling for Japanese Spontaneous Speech Recognition"Eurospeech2003. 2513-2516 (2003)
• [文献書誌] Yasuo Ariki: "Live Speech Recognition in Sports Games by Adaptation of Acoustic Model and Language Model"Eurospeech2003. 1453-1456 (2003)
• [文献書誌] Masakiyo Fujimoto: "Combination of Temporal Domain SVD Based Speech Enhancement and GMM Based Speech Estimation for ASR in Noise-Evaluation on the AURORA2 Task"Eurospeech2003. 1781-1784 (2003)
• [文献書誌] Natsuo Yamamoto: "Topic Segmentation and Retrieval System for Lecture Videos Based on Spontaneous Speech Recognition"EuroSpeech2003. 961-964 (2003)
• [文献書誌] Yasuo Ariki: "Human Information Retrieval Based on Face Recognition in Video Image through Multi-modal Interaction Using Speech and Hand Pointing Action"HCI International 2003. 586-590 (2003)
• [文献書誌] Yasuo Ariki: "Speaker Naming System by Associating Speech and Speaker Recognition Results"2003 ISCA Workshop on Multilingual Spoken Document Retrieval(MSDR2003). 61-66 (2003)
• [文献書誌] Masahito Kumano: "AUTOMATIC SHOT SIZE INDEXING FOR A VIDEO EDITING SUPPORT SYSTEM"3rd-International Workshop on Content- Based Multimedia Indexing(CBMI'03). 57-62 (2003)
• [文献書誌] 平松治彦: "モバイル環境におけるコミュニケーション支援のための位置依存情報配信システム"地理情報システム学会,GIS-理論と応用. Vol11, No.1. 91-100 (2003)
• [文献書誌] Biplab Kumer Sarker: "A Performance Study of Task Allocation Algorithms in a Distributed Computing System (DCS)"IEICE Transactions on Information and Systems. Vol.E86-D, No.9. 1611-1619 (2003)
• [文献書誌] Biplab Kumer Sarker: "Parallel Algorithms for Mining Association Rules in Time Series Data"Proc.of the 2003 International Symposium on Parallel and Distributed Processing and applications. 273-284 (2003)
• [文献書誌] Yoshiki Tanaka: "Discover Motifs in Multi Dimensional Time-Series Using the Principal Component Analysis and the MDL Principle"Proc.of The Third International Conference on Machine Learning and Data Mining in Pattern Recognition(MLDM 2003). 252-265 (2003)
• [文献書誌] Biplab Kumer Sarker: "A Different Approach for Allocating Tasks in a DCS Using A"Proc.of 4th International Conference on Parallel and Distributed Computing Application and Technologies. 577-581 (2003)
• [文献書誌] Takeshi Kawano: "A Coded Visual Marker for Video Tracking System Based on Structured Image Analysis"Proc.of ISMAR'03. 262-263 (2003)
• [文献書誌] Yuya Matsuo: "Video Data Mining : Extracting Cinematic Rules from Movie"Proc.of Fourth International Workshop on Multimedia Data Mining. 18-27 (2003)
• [文献書誌] Kimiaki Shirahama: "Extracting Alfred Hitchcock's Know-How by Applying Data Mining Technique"Proc.of 1st International Workshop on Objects Models and Multimedia Technologies. 43-54 (2003)
• [文献書誌] Andrey Nikolov: "Rescue System Based on Location Aware Information Exchange in Mobile AdHoc Network"Proc.of the 2003 International Workshop on Mobile Systems, E-Commerce and Agent Technology (MSEAT'2003). 325-330 (2003)
• [文献書誌] Biplab Kumer Sarker: "Sequential Association Rules from Multi-Stream Time Series Data - A Lattice Based Parallel Mining Approach"Proceedings of 1st Indian International Conference on Artificial Intelligence (llCAl-03), India. 1328-1337 (2003)
• [文献書誌] Yuya Matsuo: "Mining Semantic Structures in Movies"Proc.of 15th International Conference on Applications of Declarative Programming and Knowledge Management, (2004). (未定)(to appear). (2004)
• [文献書誌] 河野 武: "ウェアラブルコンピュータのためのビデオトラッキング用コード化マーカについての検討"日本バーチャルリアリティ学会論文誌. Vo18, No.3. 311-320 (2003)
• [文献書誌] 中村雅之: "重み更新規則の修正によるBoostingアルゴリズムの改良について"情報処理学会論文誌. Vo145, No3. (2004)
• [文献書誌] Biplab Kumer Sarker: "A Different Approach for Allocating Tasks in a DCS Using A"IEICE Transactions on Information and System. (未定). (2004)
• [文献書誌] Masayuki Nakamura: "Improvement of Boosting Algorithm by Modifying the Weighting Rule"Annals of Mathematics and Artificial Intelligence, Kluwer Academic Publishers. (未定). (2004)
• [文献書誌] Biplab Kumer Sarker: "Parallel Mining of Association Rules in Multi-stream Time Series Data"Journal of Parallel & Distributed Computing Practices(PDCP). (未定). (2004)