• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2014 Fiscal Year Annual Research Report

コンテンツ・アウェアネスによる人と機械のコミュニケーション及び学習に関する研究

Research Project

Project/Area Number 26280059
Research InstitutionKobe University

Principal Investigator

有木 康雄  神戸大学, 都市安全研究センター, 教授 (10135519)

Co-Investigator(Kenkyū-buntansha) 滝口 哲也  神戸大学, 都市安全研究センター, 准教授 (40397815)
榎並 直子  神戸大学, 自然科学系先端融合研究環重点研究部, 助教 (80628925)
Project Period (FY) 2014-04-01 – 2017-03-31
Keywords音声対話 / 物体認識 / コミュニケーション / アウェアネス / 特定物体認識 / 一般物体認識 / 機能認識 / 学習
Outline of Annual Research Achievements

機械を相手にすると、話題に関する共通の認識(コンテンツ・アウェアネス)がとりにくく、人の意図が伝わりにくい。本研究では、このコンテンツ・アウェアネスを取り入れ、人と機械のコミュニケーションを円滑に行う方法について研究する。平成26年度は、1)物体や状況の高精度な認識方法と、4)対象に関する共通知識を用いた音声対話の有効性の検証の一部について研究を行った。実施した研究内容を以下に述べる。
a)「認識・情報提供」において実施する「この本、読んだ?」といったタスクでは、本という具体的な対象物を認識して対話を展開するため、特定の本を認識する必要がある。従って、「画像による特定物体認識を行って、その物体に関する情報を検索して提示する課題」を研究した。具体的には、音声認識の結果と画像認識の結果を、ロジスティック回帰を用いて統合し、認識結果の精度向上を行った。
b)「探索・処理操作」における「湯呑にお茶入れて」といったタスクでは、一般的に存在する急須と湯呑を探索するとともに、その後の処理操作を行う必要がある。従って、「画像による一般物体認識を行って探索し、その物体を処理操作する課題」を研究した。本研究では、ディープニューラルネットワークの一種であるConvolutional Neural Network (CNN)によって一般物体認識を行った。
c)「機能認識・探索」では、「書くものを持ってきて」、「乗り物はどれ」、「水を入れることができるものは」といったタスクを実施した。物体をDPMによりパーツに分解し、その後、機能を発現するために必要なパーツを特定した。機能ごとに学習したモデルを用いて、パーツを評価し、物体画像のスコアを算出した。複数の機能のうち、どの機能を物体が有するかを判定するために、one-vs-rest法を用いてマルチクラスの分類を行った。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

人とロボットとの対話を想定し、話の対象に関して情報を求める「認識・情報提示」と、特定の対象を見つけて処理する「探索・処理操作」、特定の「機能」を持つ対象を見つける「機能認識・探索」をタスクとし、オフィス・家庭を想定した場において実施しており、理論的・実験的に、おおむね達成している。

Strategy for Future Research Activity

画像認識として、特定物体認識、一般物体認識、機能認識について研究を進めてきた。今後、これを基に、利用者がもっと知りたいことを対話で求めたり、認識した複数物体を組み合わせることで利用者の要求を満たすなど、より利用者の立場に立った研究の展開が必要と考えている。

Causes of Carryover

研究の進捗に合わせて、物品の購入費用および出張旅費を抑えたため、次年度使用額が生じた。

Expenditure Plan for Carryover Budget

研究成果及び状況に合わせて、次年度に、物品の購入および出張費用を増やす計画である。

  • Research Products

    (11 results)

All 2015 2014

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 1 results) Presentation (9 results)

  • [Journal Article] Discriminating Unknown Objects from Known Objects Using Image and Speech Information2015

    • Author(s)
      Yuko Ozasa, Mikio Nakano, Yasuo Ariki, Naoto Iwahashi
    • Journal Title

      IEICE TRANSACTIONS on Information and Systems

      Volume: Vol.E98-D No.3 Pages: 704-711

    • Peer Reviewed
  • [Journal Article] A Robust SVM Classification Framework Using PSM for Multi-class Recognition2015

    • Author(s)
      Jinhui Chen, Tetsuya Takiguchi, Yasuo Ariki
    • Journal Title

      EURASIP Journal on Image and Video Processing

      Volume: 2015 Pages: -

    • DOI

      10.1186/s13640-015-0061-x

    • Peer Reviewed / Open Access
  • [Presentation] 階層的POMDPを用いた商品検索型音声対話システムの検討2015

    • Author(s)
      山田耀司, 滝口哲也, 有木康雄
    • Organizer
      日本音響学会
    • Place of Presentation
      中央大学 (東京都・文京区)
    • Year and Date
      2015-03-16 – 2015-03-18
  • [Presentation] Color Saliency for Object Identification2015

    • Author(s)
      Yuko Ozasa, Naoko Enami, Yasuo Ariki
    • Organizer
      The 21st Korea-Japan joint Workshop on Frontiers of Computer Vision
    • Place of Presentation
      Mokpo (Korea)
    • Year and Date
      2015-01-28 – 2015-01-30
  • [Presentation] Estimation of Object Functions Using Deformable Part Model2015

    • Author(s)
      Yosuke Kitano, Tetsuya Takiguchi, Yasuo Ariki
    • Organizer
      The 21st Korea-Japan joint Workshop on Frontiers of Computer Vision
    • Place of Presentation
      Mokpo (Korea)
    • Year and Date
      2015-01-28 – 2015-01-30
  • [Presentation] Selection of an Object Requested by Speech Based on Generic Object Recognitio2014

    • Author(s)
      Hitoshi Nishimura, Yuko Ozasa, Yasuo Ariki, Mikio Nakano
    • Organizer
      ICMI 2014 Workshop on Multimodal, Multi-Party, Real-World Human-Robot Interaction
    • Place of Presentation
      Istanbul (Turkey)
    • Year and Date
      2014-11-12 – 2014-11-16
  • [Presentation] 物体特定のための顕著性2014

    • Author(s)
      小篠裕子, 榎並直子, 有木康雄
    • Organizer
      電子情報通信学会
    • Place of Presentation
      幕張メッセ国際会議場 (千葉県・千葉市)
    • Year and Date
      2014-10-09 – 2014-10-10
  • [Presentation] Selection of Unknown Objects Specified by Speech Using Models Constructed from Web Images2014

    • Author(s)
      Hitoshi Nishimura, Yuko Ozasa, Yasuo Ariki, Mikio Nakano
    • Organizer
      International Conference on Pattern Recognition
    • Place of Presentation
      Stockholm (Sweden)
    • Year and Date
      2014-08-24 – 2014-08-28
  • [Presentation] 3D-Object Recognition Based on LLC Using Depth Spatial Pyramid2014

    • Author(s)
      Toru Nakashika, Takafumi Hori, Tetsuya Takiguchi, Yasuo Ariki
    • Organizer
      International Conference on Pattern Recognition
    • Place of Presentation
      Stockholm (Sweden)
    • Year and Date
      2014-08-24 – 2014-08-28
  • [Presentation] 物体の機能発現を可能とする属性情報の抽出2014

    • Author(s)
      北野陽祐,滝口哲也,有木康雄
    • Organizer
      画像の認識・理解シンポジウム
    • Place of Presentation
      岡山コンベンションセンター(岡山県・岡山市)
    • Year and Date
      2014-07-28 – 2014-07-31
  • [Presentation] Web画像を用いた一般物体認識と指示発話の音声認識を統合した物体選択法2014

    • Author(s)
      西村仁志,小篠裕子,有木康雄,中野幹生
    • Organizer
      画像の認識・理解シンポジウム
    • Place of Presentation
      岡山コンベンションセンター(岡山県・岡山市)
    • Year and Date
      2014-07-28 – 2014-07-31

URL: 

Published: 2016-06-01  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi