• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

対話中の顔表情認識とその音声対話システムへの応用

Research Project

Project/Area Number 16700192
Research Category

Grant-in-Aid for Young Scientists (B)

Allocation TypeSingle-year Grants
Research Field Perception information processing/Intelligent robotics
Research InstitutionWaseda University

Principal Investigator

藤江 真也  早稲田大学, 理工学術院, 助手 (00367062)

Project Period (FY) 2004 – 2005
Project Status Completed (Fiscal Year 2005)
Budget Amount *help
¥2,700,000 (Direct Cost: ¥2,700,000)
Fiscal Year 2005: ¥1,300,000 (Direct Cost: ¥1,300,000)
Fiscal Year 2004: ¥1,400,000 (Direct Cost: ¥1,400,000)
Keywords画像情報処理 / 知能ロボット / パターン認識
Research Abstract

<1.顔表情認識システムの構築>
昨年度の研究結果を踏まえ,本年度は,まず顔表情認識システムを構築した.認識対象とする表情としては,「笑顔」「しかめ」「見開き」と,平常を含む4表情とした.顔領域の中で,上記の表情で特に変化の大きかった眉間,眉毛を含む目,頬,口の部分画像を切り出し,主成分分析(PCA)や線形識別分析(LDA)などに基づき次元圧縮を施したベクトルを特徴量とし,サポートベクターマシンを用いて認識を行った,その結果,80%を超える認識率が得られた.
<2.顔方向・視線認識システムの構築>
上記に述べた顔表情システムは,基本的にユーザの顔が対話ロボットに正面を向けている場合を想定している.実際の対話では,ユーザの顔向きは様々に変化する.また,顔向きや視線はユーザとシステムとの間での発話権(発話の順番)のやり取りに大きな影響を与えるため,これらを認識することは顔表情と同様に適切な対話制御のために不可欠である.
本研究では,画像のテンプレートマッチングの一手法であるLucas-Kanadeアルゴリズムを用いて,顔画像テンプレートマッチング問題を3次元情報を考慮して解くことで顔向きの推定を行った.また,ここで得られた結果から目の部分面像を切り出し,PCAやLDAなどを用いて得られた特徴ベクトルを,部分空間法を用いた識別器にかけることによって視線認識を行った.これらの結果,顔向き認識は平均誤差約5度,視線認識は76%の認識率という結果が得られた.これらのリアルタイムのデモンストレーションをノートPC上に実装した.

Report

(2 results)
  • 2005 Annual Research Report
  • 2004 Annual Research Report
  • Research Products

    (12 results)

All 2005 2004

All Journal Article (12 results)

  • [Journal Article] 対話調整的役割を果たす顔表情の認識2005

    • Author(s)
      中島慶, 藤江真也, 松坂要佐, 小林哲則
    • Journal Title

      電子情報通信学会研究会技術報告 PRMU2005-94

      Pages: 7-12

    • NAID

      110003496736

    • Related Report
      2005 Annual Research Report
  • [Journal Article] Back-channel feedback generation using linguistic and nonlinguistic information and its application to spoken dialogue system2005

    • Author(s)
      Shinya Fujie, Kenta Fukushima, Tetsunori Kobayashi
    • Journal Title

      Proc.Interspeech2005

      Pages: 889-892

    • Related Report
      2005 Annual Research Report
  • [Journal Article] 相槌生成/認識機能を持つ音声対話システム2005

    • Author(s)
      藤江真也, 福島健太, 三宅梨帆, 小林哲則
    • Journal Title

      人工知能学会研究会資料 SIG-SLUD-A502-09

      Pages: 41-46

    • NAID

      40007193550

    • Related Report
      2005 Annual Research Report
  • [Journal Article] 音声対話システムにおける相槌認識/生成機能の言語情報と韻律情報による実現2005

    • Author(s)
      三宅梨帆, 福島健太, 藤江真也, 小林哲則
    • Journal Title

      日本音響学会秋季研究発表会講演論文集

      Pages: 191-192

    • Related Report
      2005 Annual Research Report
  • [Journal Article] 肯定的/否定的発話態度の認識とその音声対話システムへの応用2005

    • Author(s)
      藤江真也, 江尻康, 菊池英明, 小林哲則
    • Journal Title

      電子情報通信学会論文誌(D・II) vol.J88-D2, no.3

      Pages: 489-498

    • NAID

      110003203198

    • Related Report
      2004 Annual Research Report
  • [Journal Article] 対話型情報検索システムにおける提案要求表現の適当的理解2005

    • Author(s)
      細川健一郎, 藤江真也, 小林哲則
    • Journal Title

      電子情報通信学会論文誌(D-II) vol.J88-D2, no.3

      Pages: 619-628

    • Related Report
      2004 Annual Research Report
  • [Journal Article] A Conversation Robot with Back-Channel Feedback Function based on Linguistic and Nonlinguistic Information2004

    • Author(s)
      Shinya Fujie, Kenta Fukushima, Tetsunori Kobayashi
    • Journal Title

      Proc.Intl.Conf.on Autonomous Robots and Agents, ICARA2004

      Pages: 379-384

    • Related Report
      2004 Annual Research Report
  • [Journal Article] Prosody based Attitude Recognition with Feature Selection and Its Application to Spoken Dialog System as Para-Linguistic Information2004

    • Author(s)
      Shinya Fujie, Daizo Yagi, Hideki Kikuchi, Tetsunori Kobayashi
    • Journal Title

      Proc.Intl.Conf.on Spoken Language Processing, ICSLP2004 vol.2

      Pages: 2841-2844

    • Related Report
      2004 Annual Research Report
  • [Journal Article] A Conversation Robot sing Head Gesture Recognition as Para-Linguistic Information2004

    • Author(s)
      S.Fujie, Y.Ejiri, K.Nakajima, Y.Matsusaka, T.Kobayashi
    • Journal Title

      Proc.13th Intl.Workshop on Robot an Human Communication, RO-MAN 2004

      Pages: 159-164

    • Related Report
      2004 Annual Research Report
  • [Journal Article] 音声対話ロボットROBISUKEによる相談型対話の実現2004

    • Author(s)
      藤江真也, 坂本直宏, 清水健二, 宗近純一, 福島健太, 瀬戸裕介, 小林哲則
    • Journal Title

      情報処理学会研究報告 SLP-53

      Pages: 55-56

    • NAID

      110002950572

    • Related Report
      2004 Annual Research Report
  • [Journal Article] FSTと韻律情報を用いた相槌・復唱機能を有する対話ロボット2004

    • Author(s)
      藤江真也, 福島健太, 柴田大輔, 小林哲則
    • Journal Title

      人工知能学会研究会資料 SIG-SULD-A401

      Pages: 15-20

    • Related Report
      2004 Annual Research Report
  • [Journal Article] 相槌・復唱機能を持つ対話システム2004

    • Author(s)
      福島健太, 藤江真也, 柴田大輔, 小林哲則
    • Journal Title

      日本音響学会秋季研究発表会講演論文集

      Pages: 139-140

    • Related Report
      2004 Annual Research Report

URL: 

Published: 2004-04-01   Modified: 2016-04-21  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi