人間の動作解析に基づく感情と意図の理解およびそのコミュニケーションへの応用

2002 Fiscal Year Annual Research Report

• Project/Area Number: 14208037
• Research Institution: Ryukoku University
• Principal Investigator: 有木 康雄 龍谷大学, 理工学部, 教授 (10135519)
• Co-Investigator(Kenkyū-buntansha): 服部 元史 神戸大学, 工学部, 助手 (00252792) ; 上原 邦昭 神戸大学, 都市安全センター, 教授 (60160206) ; 熊野 雅仁 龍谷大学, 理工学部, 実験助手 (50319498)
• Keywords: データマイニング / 画像認識 / 音声認識 / 感情情報処理 / コミュニケーション / 動作解析 / 意図理解 / モーションキャプチャ

Research Abstract

人間と共生する機械を実現するために、データマイニング・画像認識・音声認識・感性情報処理により、人間の身体動作の癖やその内面にある感情に焦点を絞ったコミュニケーション方式の研究を行った。
(1)モーションデータからの規則性の発見に関する研究(上原)
表情データベース構築を目的として、モーションキャプチャシステムによって獲得した顔データを用いて、表情を記述するためのルールを抽出する手法を提案した。一般に、モーションデータは、3次元情報を保持しているためデータサイズが大きく、また、データの獲得・編集に手間がかかるため生産性が低いという問題点がある。そこで、表情筋構造と主成分分析によって、3次元から特徴ベクトルへと次元を落している。また、数値を柔軟に扱い、情報ロスを減らすために、メンバシップ関数を用いたルールマイニング手法を提案した。
(2)身体運動の型と感情の質の解析(服部)
人間の身体の動きにおける感情表現を解析するために、モーションキャプチャデータを大まかな構造と詳細な構造との階層構造に分割するソフトウェアを改良した。大まかな構造は、身体の姿勢の時系列を符号で表示したものであり、詳細な構造は、その符号だけでは表しきれない身体の動きの滑らかさなどを表す数値データである。大まかな構造を表す符号によって、人間の動作の意図を推定することができ、詳細な構造を表す曲率などの数値データによって、人間の感情を推定できると期待される。
(3)人間の動作解析と音声・画像認識の統合による意図理解(有木・熊野)
基本動作認識と音声認識結果を統合する研究を行った。大型ディスプレイに映っている資料を指し示し、「この資料の35ページを表示して」と指示すればそれに従うタスクや、「この人は誰」と指差せば人名を検索するタスクを実行した。このため、ハンズフリー音声認識と、雑音に強い音声認識、音声認識精度の向上について研究するとともに、人間の動作解析、音声と動作の統合解析について研究を行った。

Research Products

• [Publications] K.Uehara, M.Shimada: "Discovery of Association Rules from Motion data"Progresses in Discovery Science, Lecture Notes in Artificial Intelligence. Vol.2281. 338-348 (2002)
• [Publications] Haruhiko Hiramatsu, Kazutoshi Sumiya, Kuniaki Uehara: "Collection and Reconstruction of Web Contents in Mobile Environments"Proc. of 2nd Asian International Mobile Computing Conference(AMOC). 129-138 (2002)
• [Publications] Masahito.Kumano, Yasuo.Ariki, Miki Amano, Kuniaki.Uehara, Kenji.Shunto, Kiyoshi.Tsukada: "Video Editing Support System Based on Video Grammar and Content Analysis"Proc. of 16th International Conference on Pattern Recognition(ICPR). 1031-1036 (2002)
• [Publications] Kenichi Fujimura, Koichiro Honda, Kuniaki Uehara: "Automatic Video Summarization by Using Color and Utterance Information"Proc. of International Conference on Multimedia and Expo(ICME). 49-52 (2002)
• [Publications] Biplab Kumer Sarker, Anil Kumar Tripathi, Deo Prakash Vidyarthi, Kuniaki Uehara: "Comparative Study of Task Allocation Algorithm based on A^* and GA in a Distributed Computing System(DCS)"Proc. of The Third International Conference on Parallel and Distributed Computing, Applications and Technologiess(PDCAT-2002). 116-121 (2002)
• [Publications] Yuya Matsuo, Miki Amano, Kuniaki Uehara: "Mining Video Editing Rules in Video Streams"Proc. of The 10th ACM International Multimedia Conference(ACMMM). 255-258 (2002)
• [Publications] Kuniaki Uehara: "How Risk Management Decisions Are Made and Integrated with Urban Planning Objectives"Proc. of The Third International Workshop on Earthquakes and Megacities. 31-37 (2002)
• [Publications] Haruhiko Hiramatsu, Yutaka Kidawara, Kuniaki Uehara: "Information Delivery System for Communication in Mobile Environment"The International Conference on Advanced Information Networking and Applications(AINA). (to appear). (2002)
• [Publications] Masayuki Nakamura, Kuniaki Uehara: "Improvement of Boosting Algorithm by Modifying the Weighting Rule Annals of Mathematics and Artificial Intelligence"Kluwer Academic Publishers. (to appear). (2002)
• [Publications] Biplab Kumer Sarker, Anil Kumar Tripathi, Deo Prakash Vidyarthi, Kuniaki Uehara: "A Performance Study of Task Allocation Algorithms in a Distributed Computing System(DCS)"IEICE Transactions on Information and Systems. (to appear). (2002)
• [Publications] Saeed Shiry Ghidary, Yasushi Nakata, Hiroshi Saito, Motofumi Hattori, Toshi Takamori: "Multi-Modal Interaction of Human and Home Robot in the Context of Room Map Generation Automous Robots"Kluwer Academic Publishers, Netherlands. Volume13,Issue 2. 169-184 (2002)
• [Publications] Hiroshi Saito, Kenichi Ishimura, Motofumi Hattori, Toshi Takamori: "Multi-Modal Human Robot Interaction for Map Generation"CD-ROM Proc. of the Annual Conference of The Society of Instrument and Control Engineers(SICE). WA 13-1. (2002)
• [Publications] Takuhiro Dohta, Motofumi Hattori, Toshi Takamori: "An Intuitive Operation System for Cloth Animation of Computer Graphics"CD-ROM Proc. of the Annual Conference of The Society of Instrument and Control Engineers(SICE). TM16-3. (2002)
• [Publications] Masahito Kumano, Yasuo Ariki: "Automatic Useful Shot Extraction for a Video Editing Support System"MVA2002(IAPR Workshop on Machine Vision Applications). 310-313 (2002)
• [Publications] Masakiyo Fujimoto, Yasuo Ariki: "Noise Robust Hands-Free Speech Recognition Using Microphone Array and Kalman Filter as Front-End System of Conversational TV"MMSP2002(International Workshop on Multimedia Signal Processing), In CD-ROM Proceedings. (2002)
• [Publications] Jun Ogata, Yasuo Ariki: "Unsupervised Acoustic Model Adaptation Based on Phoneme Error Minimization"ICSLP2002(International Conference on Spoken Language Processing). Vol.II. 1429-1432 (2002)
• [Publications] Masakiyo Fujimoto, Yasuo Ariki: "Evaluation of Noisy Speech Recognition Based on Noise Reduction and Acoustic Model Adaptation on the AURORA2 Tasks"ICSLP2002(International Conference on Spoken Language Processing). Vol.I. 465-468 (2002)
• [Publications] 熊野雅仁, 有木康雄, 上原邦昭, 下條真司, 春藤憲司, 塚田清志: "映像編集支援システムのためのショットサイズ自動付与"電子情報通信学会論文誌. Vol.J85-D-I, No.7. 592-602 (2002)
• [Publications] 平松治彦, 角谷和俊, 上原邦昭: "位置依存情報配信システムのための空間ハイパーメディアの枠組み"情報処理学会論文誌:データベース. Vol.43,No.TOD14. 98-109 (2002)
• [Publications] 角谷和俊, 松本好市, 高橋美乃梨, 上原邦昭: "マルチチャンネル型ニュース配信システムのための時系列クラスタリング"情報処理学会論文誌:データベース. Vol.43,No.TOD14. 87-97 (2002)
• [Publications] 丸山絋平, 上原邦昭: "半構造データからのマイニングとHMMを用いた情報抽出による知識の相互利用"電子情報通信学会論文誌D1. Vol.J85-D-I No.11. 1057-1066 (2002)
• [Publications] 本多光一郎, 藤村憲市, 上原邦昭: "色情報、発話情報を用いたビデオの自動要約手法"情報処理学会論文誌. Vol.43,No.10. 3199-3208 (2002)
• [Publications] 森隆規, 上原邦昭: "動作データからの基本動作の抽出と相関ルールに基づく動作認識"電子情報通信学会,人工知能と知識処理研究会. 102-91. 7-12 (2002)
• [Publications] 服部元史, 高森年: "キーフレームおよびそれらの間の連続軌道に基づくコンピュータ内での身体運動の記述方法"情報処理学会シンポジウムシリーズ「人文科学とコンピュータシンポジウム」. Vol.2002,No.13. 297-304 (2002)
• [Publications] 服部元史: "文楽における動きの情緒表現"バイオメカニズム学会誌. Vol.26No.3. 137-141 (2002)
• [Publications] 緒方淳, 有木康雄: "音素誤り最小化デコーディングを用いた音響モデルの教師なし適応化"電子情報通信学会論文誌. Vol.85-D-II, No.12. 1771-1780 (2002)
• [Publications] 西田昌史, 緒方淳, 有木康雄: "音声認識と話者認識を統合した話者の人名付与システム"情報処理学会論文誌. 第43巻第7号. 2205-2213 (2002)
• [Publications] 西田昌史, 有木康雄: "音韻性を抑えた話者空間への射影による話者認識"電子情報通信学会論文誌. Vol.85-D-II, No.4. 554-562 (2002)
• [Publications] 藤本 雅清, 有木 康雄: "時間領域SVDとGMMに基づく音声信号推定法の統合による雑音下音声認識"情報処理学会研究報告. SLP-45-2. 7-12 (2003)
• [Publications] 緒方淳, 有木康雄: "日本語話し言葉音声認識のための音節に基づく高精度な音響モデルの検討"電子情報通信学会音声研究会技術報告. SP2002-125. 49-54 (2002)
• [Publications] 重森 猛, 金子 剛志, 緒方 淳, 藤本 雅清, 有木 康雄, 塚田 清志, 濱口 伸, 清瀬: "音響・言語適応処理を用いたスポーツ実況中継音声の認識〜ハイライトシーン検出への応用〜"電子情報通信学会音声研究会技術報告. SP2003-166. 33-40 (2003)
• [Publications] 藤本 雅清, 有木 康雄: "GMMに基づく音声信号推定法を用いた雑音下音声認識"電子情報通信学会音声研究会技術報告. SP2002-125. 25-30 (2002)
• [Publications] 神崎 伸夫, 有木 康雄: "分割テンプレートを用いた正規化相関法によるサッカー映像中のボールと選手の追跡"電子情報通信学会パターン認識・メディア理解研究会技術報告. PRMU2002-20-30. 51-56 (2002)
• [Publications] 藤本 雅清, 有木 康雄: "マイクロフォンアレイとカルマンフィルタによる実環境下でのハンズフリー音声認識-対話型テレビのフロントエンドシステムの構築-"第4回DSPS教育者会議. 55-58 (2002)
• [Publications] 熊野 雅仁, 有木 康雄, 春藤 憲司, 塚田 清志: "映像編集支援システムのためのショットサイズ自動付与"画像の認識・理解シンポジウム. MIRU2002,II. 215-222 (2002)
• [Publications] 藤本 雅清, 有木 康雄: "雑音除去とモデル適応を併用した雑音下音声認識-AURORA2 タスクでの評価-"情報処理学会研究報告. SLP-42-12. 71-76 (2002)
• [Publications] 山本 夏夫, 緒方 淳, 有木 康雄: "トピックセグメンテーションに基づく講義ビデオの構造化の検討"情報処理学会研究報告. SLP-42-10. 59-64 (2002)
• [Publications] 熊野 雅仁, 有木 康雄: "映像編集支援システムのための使用可能ショット自動抽出"電子情報通信学会パターン認識とメディア理解研究会技術報告. PRMU2002-31. 1-8 (2002)
• [Publications] 藤本 雅清, 山本夏夫, 有木 康雄, 熊野雅仁: "マルチモーダルインタラクションによるニュース映像中の人物認識と検索"人工知能学会言語・音声理解と対話処理研究会. SIG-SLUD-A201-02. 7-14 (2002)