2002 年度実績報告書

人間の動作解析に基づく感情と意図の理解およびそのコミュニケーションへの応用

研究課題

研究課題/領域番号	14208037
研究機関	龍谷大学
研究代表者	有木康雄龍谷大学, 理工学部, 教授 (10135519)
研究分担者	服部元史神戸大学, 工学部, 助手 (00252792) 上原邦昭神戸大学, 都市安全センター, 教授 (60160206) 熊野雅仁龍谷大学, 理工学部, 実験助手 (50319498)
キーワード	データマイニング / 画像認識 / 音声認識 / 感情情報処理 / コミュニケーション / 動作解析 / 意図理解 / モーションキャプチャ
研究概要	人間と共生する機械を実現するために、データマイニング・画像認識・音声認識・感性情報処理により、人間の身体動作の癖やその内面にある感情に焦点を絞ったコミュニケーション方式の研究を行った。 (1)モーションデータからの規則性の発見に関する研究(上原) 表情データベース構築を目的として、モーションキャプチャシステムによって獲得した顔データを用いて、表情を記述するためのルールを抽出する手法を提案した。一般に、モーションデータは、3次元情報を保持しているためデータサイズが大きく、また、データの獲得・編集に手間がかかるため生産性が低いという問題点がある。そこで、表情筋構造と主成分分析によって、3次元から特徴ベクトルへと次元を落している。また、数値を柔軟に扱い、情報ロスを減らすために、メンバシップ関数を用いたルールマイニング手法を提案した。 (2)身体運動の型と感情の質の解析(服部) 人間の身体の動きにおける感情表現を解析するために、モーションキャプチャデータを大まかな構造と詳細な構造との階層構造に分割するソフトウェアを改良した。大まかな構造は、身体の姿勢の時系列を符号で表示したものであり、詳細な構造は、その符号だけでは表しきれない身体の動きの滑らかさなどを表す数値データである。大まかな構造を表す符号によって、人間の動作の意図を推定することができ、詳細な構造を表す曲率などの数値データによって、人間の感情を推定できると期待される。 (3)人間の動作解析と音声・画像認識の統合による意図理解(有木・熊野) 基本動作認識と音声認識結果を統合する研究を行った。大型ディスプレイに映っている資料を指し示し、「この資料の35ページを表示して」と指示すればそれに従うタスクや、「この人は誰」と指差せば人名を検索するタスクを実行した。このため、ハンズフリー音声認識と、雑音に強い音声認識、音声認識精度の向上について研究するとともに、人間の動作解析、音声と動作の統合解析について研究を行った。

研究成果
(39件)

すべてその他

すべて文献書誌 (39件)

[文献書誌] K.Uehara, M.Shimada: "Discovery of Association Rules from Motion data"Progresses in Discovery Science, Lecture Notes in Artificial Intelligence. Vol.2281. 338-348 (2002)
[文献書誌] Haruhiko Hiramatsu, Kazutoshi Sumiya, Kuniaki Uehara: "Collection and Reconstruction of Web Contents in Mobile Environments"Proc. of 2nd Asian International Mobile Computing Conference(AMOC). 129-138 (2002)
[文献書誌] Masahito.Kumano, Yasuo.Ariki, Miki Amano, Kuniaki.Uehara, Kenji.Shunto, Kiyoshi.Tsukada: "Video Editing Support System Based on Video Grammar and Content Analysis"Proc. of 16th International Conference on Pattern Recognition(ICPR). 1031-1036 (2002)
[文献書誌] Kenichi Fujimura, Koichiro Honda, Kuniaki Uehara: "Automatic Video Summarization by Using Color and Utterance Information"Proc. of International Conference on Multimedia and Expo(ICME). 49-52 (2002)
[文献書誌] Biplab Kumer Sarker, Anil Kumar Tripathi, Deo Prakash Vidyarthi, Kuniaki Uehara: "Comparative Study of Task Allocation Algorithm based on A^* and GA in a Distributed Computing System(DCS)"Proc. of The Third International Conference on Parallel and Distributed Computing, Applications and Technologiess(PDCAT-2002). 116-121 (2002)
[文献書誌] Yuya Matsuo, Miki Amano, Kuniaki Uehara: "Mining Video Editing Rules in Video Streams"Proc. of The 10th ACM International Multimedia Conference(ACMMM). 255-258 (2002)
[文献書誌] Kuniaki Uehara: "How Risk Management Decisions Are Made and Integrated with Urban Planning Objectives"Proc. of The Third International Workshop on Earthquakes and Megacities. 31-37 (2002)
[文献書誌] Haruhiko Hiramatsu, Yutaka Kidawara, Kuniaki Uehara: "Information Delivery System for Communication in Mobile Environment"The International Conference on Advanced Information Networking and Applications(AINA). (to appear). (2002)
[文献書誌] Masayuki Nakamura, Kuniaki Uehara: "Improvement of Boosting Algorithm by Modifying the Weighting Rule Annals of Mathematics and Artificial Intelligence"Kluwer Academic Publishers. (to appear). (2002)
[文献書誌] Biplab Kumer Sarker, Anil Kumar Tripathi, Deo Prakash Vidyarthi, Kuniaki Uehara: "A Performance Study of Task Allocation Algorithms in a Distributed Computing System(DCS)"IEICE Transactions on Information and Systems. (to appear). (2002)
[文献書誌] Saeed Shiry Ghidary, Yasushi Nakata, Hiroshi Saito, Motofumi Hattori, Toshi Takamori: "Multi-Modal Interaction of Human and Home Robot in the Context of Room Map Generation Automous Robots"Kluwer Academic Publishers, Netherlands. Volume13,Issue 2. 169-184 (2002)
[文献書誌] Hiroshi Saito, Kenichi Ishimura, Motofumi Hattori, Toshi Takamori: "Multi-Modal Human Robot Interaction for Map Generation"CD-ROM Proc. of the Annual Conference of The Society of Instrument and Control Engineers(SICE). WA 13-1. (2002)
[文献書誌] Takuhiro Dohta, Motofumi Hattori, Toshi Takamori: "An Intuitive Operation System for Cloth Animation of Computer Graphics"CD-ROM Proc. of the Annual Conference of The Society of Instrument and Control Engineers(SICE). TM16-3. (2002)
[文献書誌] Masahito Kumano, Yasuo Ariki: "Automatic Useful Shot Extraction for a Video Editing Support System"MVA2002(IAPR Workshop on Machine Vision Applications). 310-313 (2002)
[文献書誌] Masakiyo Fujimoto, Yasuo Ariki: "Noise Robust Hands-Free Speech Recognition Using Microphone Array and Kalman Filter as Front-End System of Conversational TV"MMSP2002(International Workshop on Multimedia Signal Processing), In CD-ROM Proceedings. (2002)
[文献書誌] Jun Ogata, Yasuo Ariki: "Unsupervised Acoustic Model Adaptation Based on Phoneme Error Minimization"ICSLP2002(International Conference on Spoken Language Processing). Vol.II. 1429-1432 (2002)
[文献書誌] Masakiyo Fujimoto, Yasuo Ariki: "Evaluation of Noisy Speech Recognition Based on Noise Reduction and Acoustic Model Adaptation on the AURORA2 Tasks"ICSLP2002(International Conference on Spoken Language Processing). Vol.I. 465-468 (2002)
[文献書誌] 熊野雅仁, 有木康雄, 上原邦昭, 下條真司, 春藤憲司, 塚田清志: "映像編集支援システムのためのショットサイズ自動付与"電子情報通信学会論文誌. Vol.J85-D-I, No.7. 592-602 (2002)
[文献書誌] 平松治彦, 角谷和俊, 上原邦昭: "位置依存情報配信システムのための空間ハイパーメディアの枠組み"情報処理学会論文誌:データベース. Vol.43,No.TOD14. 98-109 (2002)
[文献書誌] 角谷和俊, 松本好市, 高橋美乃梨, 上原邦昭: "マルチチャンネル型ニュース配信システムのための時系列クラスタリング"情報処理学会論文誌:データベース. Vol.43,No.TOD14. 87-97 (2002)
[文献書誌] 丸山絋平, 上原邦昭: "半構造データからのマイニングとHMMを用いた情報抽出による知識の相互利用"電子情報通信学会論文誌D1. Vol.J85-D-I No.11. 1057-1066 (2002)
[文献書誌] 本多光一郎, 藤村憲市, 上原邦昭: "色情報、発話情報を用いたビデオの自動要約手法"情報処理学会論文誌. Vol.43,No.10. 3199-3208 (2002)
[文献書誌] 森隆規, 上原邦昭: "動作データからの基本動作の抽出と相関ルールに基づく動作認識"電子情報通信学会,人工知能と知識処理研究会. 102-91. 7-12 (2002)
[文献書誌] 服部元史, 高森年: "キーフレームおよびそれらの間の連続軌道に基づくコンピュータ内での身体運動の記述方法"情報処理学会シンポジウムシリーズ「人文科学とコンピュータシンポジウム」. Vol.2002,No.13. 297-304 (2002)
[文献書誌] 服部元史: "文楽における動きの情緒表現"バイオメカニズム学会誌. Vol.26No.3. 137-141 (2002)
[文献書誌] 緒方淳, 有木康雄: "音素誤り最小化デコーディングを用いた音響モデルの教師なし適応化"電子情報通信学会論文誌. Vol.85-D-II, No.12. 1771-1780 (2002)
[文献書誌] 西田昌史, 緒方淳, 有木康雄: "音声認識と話者認識を統合した話者の人名付与システム"情報処理学会論文誌. 第43巻第7号. 2205-2213 (2002)
[文献書誌] 西田昌史, 有木康雄: "音韻性を抑えた話者空間への射影による話者認識"電子情報通信学会論文誌. Vol.85-D-II, No.4. 554-562 (2002)
[文献書誌] 藤本雅清, 有木康雄: "時間領域SVDとGMMに基づく音声信号推定法の統合による雑音下音声認識"情報処理学会研究報告. SLP-45-2. 7-12 (2003)
[文献書誌] 緒方淳, 有木康雄: "日本語話し言葉音声認識のための音節に基づく高精度な音響モデルの検討"電子情報通信学会音声研究会技術報告. SP2002-125. 49-54 (2002)
[文献書誌] 重森猛, 金子剛志, 緒方淳, 藤本雅清, 有木康雄, 塚田清志, 濱口伸, 清瀬: "音響・言語適応処理を用いたスポーツ実況中継音声の認識〜ハイライトシーン検出への応用〜"電子情報通信学会音声研究会技術報告. SP2003-166. 33-40 (2003)
[文献書誌] 藤本雅清, 有木康雄: "GMMに基づく音声信号推定法を用いた雑音下音声認識"電子情報通信学会音声研究会技術報告. SP2002-125. 25-30 (2002)
[文献書誌] 神崎伸夫, 有木康雄: "分割テンプレートを用いた正規化相関法によるサッカー映像中のボールと選手の追跡"電子情報通信学会パターン認識・メディア理解研究会技術報告. PRMU2002-20-30. 51-56 (2002)
[文献書誌] 藤本雅清, 有木康雄: "マイクロフォンアレイとカルマンフィルタによる実環境下でのハンズフリー音声認識-対話型テレビのフロントエンドシステムの構築-"第4回DSPS教育者会議. 55-58 (2002)
[文献書誌] 熊野雅仁, 有木康雄, 春藤憲司, 塚田清志: "映像編集支援システムのためのショットサイズ自動付与"画像の認識・理解シンポジウム. MIRU2002,II. 215-222 (2002)
[文献書誌] 藤本雅清, 有木康雄: "雑音除去とモデル適応を併用した雑音下音声認識-AURORA2 タスクでの評価-"情報処理学会研究報告. SLP-42-12. 71-76 (2002)
[文献書誌] 山本夏夫, 緒方淳, 有木康雄: "トピックセグメンテーションに基づく講義ビデオの構造化の検討"情報処理学会研究報告. SLP-42-10. 59-64 (2002)
[文献書誌] 熊野雅仁, 有木康雄: "映像編集支援システムのための使用可能ショット自動抽出"電子情報通信学会パターン認識とメディア理解研究会技術報告. PRMU2002-31. 1-8 (2002)
[文献書誌] 藤本雅清, 山本夏夫, 有木康雄, 熊野雅仁: "マルチモーダルインタラクションによるニュース映像中の人物認識と検索"人工知能学会言語・音声理解と対話処理研究会. SIG-SLUD-A201-02. 7-14 (2002)

2002 年度 実績報告書

人間の動作解析に基づく感情と意図の理解およびそのコミュニケーションへの応用

研究代表者

有木 康雄 龍谷大学, 理工学部, 教授 (10135519)

研究成果

[文献書誌] K.Uehara, M.Shimada: "Discovery of Association Rules from Motion data"Progresses in Discovery Science, Lecture Notes in Artificial Intelligence. Vol.2281. 338-348 (2002)

[文献書誌] Haruhiko Hiramatsu, Kazutoshi Sumiya, Kuniaki Uehara: "Collection and Reconstruction of Web Contents in Mobile Environments"Proc. of 2nd Asian International Mobile Computing Conference(AMOC). 129-138 (2002)

[文献書誌] Masahito.Kumano, Yasuo.Ariki, Miki Amano, Kuniaki.Uehara, Kenji.Shunto, Kiyoshi.Tsukada: "Video Editing Support System Based on Video Grammar and Content Analysis"Proc. of 16th International Conference on Pattern Recognition(ICPR). 1031-1036 (2002)

[文献書誌] Kenichi Fujimura, Koichiro Honda, Kuniaki Uehara: "Automatic Video Summarization by Using Color and Utterance Information"Proc. of International Conference on Multimedia and Expo(ICME). 49-52 (2002)

[文献書誌] Yuya Matsuo, Miki Amano, Kuniaki Uehara: "Mining Video Editing Rules in Video Streams"Proc. of The 10th ACM International Multimedia Conference(ACMMM). 255-258 (2002)

[文献書誌] Kuniaki Uehara: "How Risk Management Decisions Are Made and Integrated with Urban Planning Objectives"Proc. of The Third International Workshop on Earthquakes and Megacities. 31-37 (2002)

[文献書誌] Haruhiko Hiramatsu, Yutaka Kidawara, Kuniaki Uehara: "Information Delivery System for Communication in Mobile Environment"The International Conference on Advanced Information Networking and Applications(AINA). (to appear). (2002)

[文献書誌] Masayuki Nakamura, Kuniaki Uehara: "Improvement of Boosting Algorithm by Modifying the Weighting Rule Annals of Mathematics and Artificial Intelligence"Kluwer Academic Publishers. (to appear). (2002)

[文献書誌] Biplab Kumer Sarker, Anil Kumar Tripathi, Deo Prakash Vidyarthi, Kuniaki Uehara: "A Performance Study of Task Allocation Algorithms in a Distributed Computing System(DCS)"IEICE Transactions on Information and Systems. (to appear). (2002)

[文献書誌] Saeed Shiry Ghidary, Yasushi Nakata, Hiroshi Saito, Motofumi Hattori, Toshi Takamori: "Multi-Modal Interaction of Human and Home Robot in the Context of Room Map Generation Automous Robots"Kluwer Academic Publishers, Netherlands. Volume13,Issue 2. 169-184 (2002)

[文献書誌] Hiroshi Saito, Kenichi Ishimura, Motofumi Hattori, Toshi Takamori: "Multi-Modal Human Robot Interaction for Map Generation"CD-ROM Proc. of the Annual Conference of The Society of Instrument and Control Engineers(SICE). WA 13-1. (2002)

[文献書誌] Takuhiro Dohta, Motofumi Hattori, Toshi Takamori: "An Intuitive Operation System for Cloth Animation of Computer Graphics"CD-ROM Proc. of the Annual Conference of The Society of Instrument and Control Engineers(SICE). TM16-3. (2002)

[文献書誌] Masahito Kumano, Yasuo Ariki: "Automatic Useful Shot Extraction for a Video Editing Support System"MVA2002(IAPR Workshop on Machine Vision Applications). 310-313 (2002)

[文献書誌] Masakiyo Fujimoto, Yasuo Ariki: "Noise Robust Hands-Free Speech Recognition Using Microphone Array and Kalman Filter as Front-End System of Conversational TV"MMSP2002(International Workshop on Multimedia Signal Processing), In CD-ROM Proceedings. (2002)

[文献書誌] Jun Ogata, Yasuo Ariki: "Unsupervised Acoustic Model Adaptation Based on Phoneme Error Minimization"ICSLP2002(International Conference on Spoken Language Processing). Vol.II. 1429-1432 (2002)

[文献書誌] Masakiyo Fujimoto, Yasuo Ariki: "Evaluation of Noisy Speech Recognition Based on Noise Reduction and Acoustic Model Adaptation on the AURORA2 Tasks"ICSLP2002(International Conference on Spoken Language Processing). Vol.I. 465-468 (2002)

[文献書誌] 熊野雅仁, 有木康雄, 上原邦昭, 下條真司, 春藤憲司, 塚田清志: "映像編集支援システムのためのショットサイズ自動付与"電子情報通信学会論文誌. Vol.J85-D-I, No.7. 592-602 (2002)

[文献書誌] 平松治彦, 角谷和俊, 上原邦昭: "位置依存情報配信システムのための空間ハイパーメディアの枠組み"情報処理学会論文誌:データベース. Vol.43,No.TOD14. 98-109 (2002)

[文献書誌] 角谷和俊, 松本好市, 高橋美乃梨, 上原邦昭: "マルチチャンネル型ニュース配信システムのための時系列クラスタリング"情報処理学会論文誌:データベース. Vol.43,No.TOD14. 87-97 (2002)

[文献書誌] 丸山絋平, 上原邦昭: "半構造データからのマイニングとHMMを用いた情報抽出による知識の相互利用"電子情報通信学会論文誌D1. Vol.J85-D-I No.11. 1057-1066 (2002)

[文献書誌] 本多光一郎, 藤村憲市, 上原邦昭: "色情報、発話情報を用いたビデオの自動要約手法"情報処理学会論文誌. Vol.43,No.10. 3199-3208 (2002)

[文献書誌] 森隆規, 上原邦昭: "動作データからの基本動作の抽出と相関ルールに基づく動作認識"電子情報通信学会,人工知能と知識処理研究会. 102-91. 7-12 (2002)

[文献書誌] 服部元史: "文楽における動きの情緒表現"バイオメカニズム学会誌. Vol.26No.3. 137-141 (2002)

[文献書誌] 緒方淳, 有木康雄: "音素誤り最小化デコーディングを用いた音響モデルの教師なし適応化"電子情報通信学会論文誌. Vol.85-D-II, No.12. 1771-1780 (2002)

[文献書誌] 西田昌史, 緒方淳, 有木康雄: "音声認識と話者認識を統合した話者の人名付与システム"情報処理学会論文誌. 第43巻第7号. 2205-2213 (2002)

[文献書誌] 西田昌史, 有木康雄: "音韻性を抑えた話者空間への射影による話者認識"電子情報通信学会論文誌. Vol.85-D-II, No.4. 554-562 (2002)

[文献書誌] 藤本 雅清, 有木 康雄: "時間領域SVDとGMMに基づく音声信号推定法の統合による雑音下音声認識"情報処理学会研究報告. SLP-45-2. 7-12 (2003)

[文献書誌] 緒方淳, 有木康雄: "日本語話し言葉音声認識のための音節に基づく高精度な音響モデルの検討"電子情報通信学会音声研究会技術報告. SP2002-125. 49-54 (2002)

[文献書誌] 藤本 雅清, 有木 康雄: "GMMに基づく音声信号推定法を用いた雑音下音声認識"電子情報通信学会音声研究会技術報告. SP2002-125. 25-30 (2002)

[文献書誌] 神崎 伸夫, 有木 康雄: "分割テンプレートを用いた正規化相関法によるサッカー映像中のボールと選手の追跡"電子情報通信学会パターン認識・メディア理解研究会技術報告. PRMU2002-20-30. 51-56 (2002)

[文献書誌] 藤本 雅清, 有木 康雄: "マイクロフォンアレイとカルマンフィルタによる実環境下でのハンズフリー音声認識-対話型テレビのフロントエンドシステムの構築-"第4回DSPS教育者会議. 55-58 (2002)

[文献書誌] 熊野 雅仁, 有木 康雄, 春藤 憲司, 塚田 清志: "映像編集支援システムのためのショットサイズ自動付与"画像の認識・理解シンポジウム. MIRU2002,II. 215-222 (2002)

[文献書誌] 藤本 雅清, 有木 康雄: "雑音除去とモデル適応を併用した雑音下音声認識-AURORA2 タスクでの評価-"情報処理学会研究報告. SLP-42-12. 71-76 (2002)

[文献書誌] 山本 夏夫, 緒方 淳, 有木 康雄: "トピックセグメンテーションに基づく講義ビデオの構造化の検討"情報処理学会研究報告. SLP-42-10. 59-64 (2002)

[文献書誌] 熊野 雅仁, 有木 康雄: "映像編集支援システムのための使用可能ショット自動抽出"電子情報通信学会パターン認識とメディア理解研究会技術報告. PRMU2002-31. 1-8 (2002)

[文献書誌] 藤本 雅清, 山本夏夫, 有木 康雄, 熊野雅仁: "マルチモーダルインタラクションによるニュース映像中の人物認識と検索"人工知能学会言語・音声理解と対話処理研究会. SIG-SLUD-A201-02. 7-14 (2002)

2002 年度実績報告書

有木康雄龍谷大学, 理工学部, 教授 (10135519)

[文献書誌] 藤本雅清, 有木康雄: "時間領域SVDとGMMに基づく音声信号推定法の統合による雑音下音声認識"情報処理学会研究報告. SLP-45-2. 7-12 (2003)

[文献書誌] 藤本雅清, 有木康雄: "GMMに基づく音声信号推定法を用いた雑音下音声認識"電子情報通信学会音声研究会技術報告. SP2002-125. 25-30 (2002)

[文献書誌] 神崎伸夫, 有木康雄: "分割テンプレートを用いた正規化相関法によるサッカー映像中のボールと選手の追跡"電子情報通信学会パターン認識・メディア理解研究会技術報告. PRMU2002-20-30. 51-56 (2002)

[文献書誌] 藤本雅清, 有木康雄: "マイクロフォンアレイとカルマンフィルタによる実環境下でのハンズフリー音声認識-対話型テレビのフロントエンドシステムの構築-"第4回DSPS教育者会議. 55-58 (2002)

[文献書誌] 熊野雅仁, 有木康雄, 春藤憲司, 塚田清志: "映像編集支援システムのためのショットサイズ自動付与"画像の認識・理解シンポジウム. MIRU2002,II. 215-222 (2002)

[文献書誌] 藤本雅清, 有木康雄: "雑音除去とモデル適応を併用した雑音下音声認識-AURORA2 タスクでの評価-"情報処理学会研究報告. SLP-42-12. 71-76 (2002)

[文献書誌] 山本夏夫, 緒方淳, 有木康雄: "トピックセグメンテーションに基づく講義ビデオの構造化の検討"情報処理学会研究報告. SLP-42-10. 59-64 (2002)

[文献書誌] 熊野雅仁, 有木康雄: "映像編集支援システムのための使用可能ショット自動抽出"電子情報通信学会パターン認識とメディア理解研究会技術報告. PRMU2002-31. 1-8 (2002)

[文献書誌] 藤本雅清, 山本夏夫, 有木康雄, 熊野雅仁: "マルチモーダルインタラクションによるニュース映像中の人物認識と検索"人工知能学会言語・音声理解と対話処理研究会. SIG-SLUD-A201-02. 7-14 (2002)