• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2010 Fiscal Year Annual Research Report

インタラクションマイニングによる対話コンテキスト依存型ジェスチャ認識モデルの構築

Research Project

Project/Area Number 22700146
Research InstitutionKyoto University

Principal Investigator

岡田 将吾  京都大学, 情報学研究科, 助教 (00512261)

Keywordsジェスチャ認識 / マルチモーダル / パターン認識 / 機械学習 / 多人数インタラクション / データマイニング / 時系列解析 / 知能情報処理
Research Abstract

本研究の目的は、人間同士のコミュニケーション中に表出される非言語(ジェスチャ)パターンを抽出するデータマイング手法を構築し、これにより抽出したパターン群から、認識モデルを構築することである。会話データから得られる大量の非言語情報をマイニングする手法は、ジェスチャ分析者の人手による分析の効率・質を改善出来る。また得られたパターンおよび認識モデルは会話ロボット・エージェントのセンシング機能として重要である。本研究では実際の会話シーンを環境モーションセンサ・マイクなどのデバイスでマルチモーダル時系列データとして取得し、このデータに対してデータマイニングを行う事により、対話のコンテキストとダイナミクスに依存して起こる非言語パターンを特定し、このパターンを認識するためのマルチモーダルイベント列モデルを構築する。22年度は複数人対話中に表出される非言語パターン(頭部・ハンドジェスチャ・音声の有無)を抽出するために、二つのデータマイニング手法を提案した。一つ目はユーザによる少量のアノテーションデータを教師ラベルデータとして、環境モーションセンサから得られた大量のラベル無し時系列データを効率よく分類可能な半教師付き分類手法、二つ目はクラス数が未知の系列データ集合からクラスタリングを行えるオンラインクラスタリング手法であり、従来手法より高精度に時系列パターンを分類、クラスタリング出来る事を示した。これらの系列マイニング手法を用いた分析の結果より、対話のコンテキストとダイナミクスに依存して起こるマルチモーダルパターンを特定した。パターンの組み合わせと同時に、パターンが出現するタイミングも特定のパターンを識別するために重要であることがわかった。今年度は、上記のデータマイニング機構を10組(計三十人)のデータに対して適用し、分析を進め、話者・聞き手の非言語パターンの生起する関係を明らかにし、パターンを特定する。また、特定した各モダリティの時系列パターンのタイミング構造を加味した上で、これらのパターンを頑健に認識するためのマルチモーダルイベント列モデルを構築する。

  • Research Products

    (13 results)

All 2011 2010

All Journal Article (2 results) (of which Peer Reviewed: 2 results) Presentation (11 results)

  • [Journal Article] Incremental Learning of Gestures for Human-Robot Interaction2010

    • Author(s)
      Shogo Okada, Yoichi Kobayashi, Satoshi Ishibashi, Toyoaki Nishida
    • Journal Title

      Springer Journal of AI & Society

      Volume: Vol.25,Num.2 Pages: 155-168

    • URL

      http://link.springer.com/article/10.1007%2Fs00146-009-0248-8

    • Peer Reviewed
  • [Journal Article] 自己増殖型ニューラルネットワークを用いた時系列データの追加学習型クラスタリング2010

    • Author(s)
      国田将吾、西田豊明
    • Journal Title

      日本神経回路学会論文誌

      Volume: Vol.17, No.4 Pages: 174-186

    • Peer Reviewed
  • [Presentation] Online Incremental Clustering with Distance Metric Learning for High Dimensional Data2011

    • Author(s)
      Shogo Okada, Toyoaki Nishida
    • Organizer
      IEEE International Joint Conference on Neural Networks (IJCNN 2011)
    • Place of Presentation
      San Jose, California (USA)
    • Year and Date
      2011-08-02
  • [Presentation] Simulated Crowd : Towards a Synthetic Culture for Engaging a Learner in Culture-dependent Nonverbal Interaction2011

    • Author(s)
      Sutasinee Thovuttikul, Divesh Lala, Hiroki Ohashi, Shogo Okada, Yoshimasa Ohmoto, Toyoaki Nishida
    • Organizer
      2nd Workshop on Eye Gaze in Intelligent Human Machine Interaction
    • Place of Presentation
      Stanford University, California (USA)
    • Year and Date
      2011-02-13
  • [Presentation] Machine Learning Approaches for Time-series Data Based on Self-Organizing Incremental Neural Network2010

    • Author(s)
      Shogo Okada, Osamu Hasegawa, Toyoaki Nishida
    • Organizer
      International Conference on Artificial Neural Networks (ICANN2010)
    • Place of Presentation
      Thessaloniki(Greece)
    • Year and Date
      2010-09-16
  • [Presentation] Multi Class Semi-supervised Classification with Graph Construction Based on Adaptive Metric Learning2010

    • Author(s)
      Shogo Okada, Toyoaki Nishida
    • Organizer
      International Conference on Artificial Neural Networks (ICANN2010)
    • Place of Presentation
      Thessaloniki(Greece)
    • Year and Date
      2010-09-15
  • [Presentation] Multi-modal Processing for Acquisition of Interaction Behavior in Social Robot2010

    • Author(s)
      Kae Sakamoto, Shogo Okada, Toyoaki Nishida
    • Organizer
      International Workshop on Social Intelligence Design (SID2010)
    • Place of Presentation
      London, UK
    • Year and Date
      2010-09-13
  • [Presentation] A Proposal of Novel WOZ Environment for Realizing Essence of Communication in Social Robots2010

    • Author(s)
      Hiroki Ohashi, Shogo Okada, Yoshimasa Ohmoto and Toyoaki Nishida
    • Organizer
      International Workshop on Social Intelligence Design (SID2010)
    • Place of Presentation
      London, UK
    • Year and Date
      2010-09-13
  • [Presentation] 適応型距離学習とグラフ学習の統合に基づく半教師付き多クラス分類2010

    • Author(s)
      岡田将吾、西田豊明
    • Organizer
      画像の認識・理解シンポジウム(MIRU)
    • Place of Presentation
      北海道 釧路市観光国際交流センター
    • Year and Date
      2010-07-28
  • [Presentation] コミュニケーションエッセンスを有する自律ロボットの実現に向けたWOZ環境の構築2010

    • Author(s)
      大橋洋輝, 高橋暁弘, 岡田将吾, 大本義正, 西田豊明
    • Organizer
      人工知能学会全国大会
    • Place of Presentation
      長崎 長崎ブリックホール
    • Year and Date
      2010-06-11
  • [Presentation] 連続インタラクションデータからのインタラクションコンテキストの変化点の検出2010

    • Author(s)
      坂本佳愛、岡田将吾、西田豊明
    • Organizer
      人工知能学会全国大会
    • Place of Presentation
      長崎 長崎ブリックホール
    • Year and Date
      2010-06-11
  • [Presentation] ユーザとの相互作用を通じた画像分類システムの開発2010

    • Author(s)
      岡田将吾、神田賢一、大本義正、西田豊明
    • Organizer
      人工知能学会全国大会
    • Place of Presentation
      長崎 長崎ブリックホール
    • Year and Date
      2010-06-10
  • [Presentation] Machine Learning Approaches for Time-series Data Based on Self-Organizing Incremental Neural Network2010

    • Author(s)
      Shogo Okada, Satoshi Ishibashi, Toyoaki Nishida
    • Organizer
      International Conference on.Industrial, Engineering &. Other Applications of Applied Intelligent Systems (IEA/AIE2010)
    • Place of Presentation
      Cordoba (Spain)
    • Year and Date
      2010-06-03

URL: 

Published: 2012-07-19  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi