物体操作を介した心的状態の推定

• Project/Area Number: 16K16099
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Multi-year Fund
• Research Field: Human interface and interaction
• Research Institution: Kyoto University
• Principal Investigator: 橋本 敦史 京都大学, 教育学研究科, 助教 (80641753)
• Project Period (FY): 2016-04-01 – 2018-03-31
• Project Status: Discontinued (Fiscal Year 2017)
• Budget Amount: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000); Fiscal Year 2018: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2017: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2016: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
• Keywords: ヒューマンコンピュータインタラクション

Outline of Annual Research Achievements

本研究課題は以下(1)物体操作を介した意図推定，(2)物体操作に基づいた困惑の検出，(3)困惑の原因の推定の3つからなる．今年度は，主に初年度に引き続き，意図推定の高精度化に取組んだ．また．
前年度までに開発した物体の把持・解放を検出する技術，及びその物体の種類を深層学習により認識する技術を見直し，個々の技術をさらに高い精度で実現するためのデータセットの強化を行った．また，昨年度の報告で述べた推進方策の通り，個々の認識結果から意図を推定する問題を確率最大化問題として定式化し，最適化計算を行うことで，より高い精度で意図推定を行うシステムを構築することに成功した．また，この技術を，前年度までに開発したシステムと連携させることで，自動で意図推定を行うデモシステムを作成し，動画を公開するなどした．
また，並行して，これらの手法に立脚したレシピの記述形式などを企業と共同で開発することにより，社会実装を進めることができた．

(2),(3)の課題については，当初計画していたような研究体制を敷くことが人的リソースの問題から難しくなり，十分に取り組むことができなかった．

Research Products

• [Journal Article] Intention-Sensing Recipe Guidance via User Accessing Objects (2016)
  • Author(s): Atsushi Hashimoto, Jin Inoue, Takuya Funatomi, Michihiko Minoh
  • Journal Title: International Journal of Human-Computer Interaction,32,9,772-773 Volume: 32 Issue: 9 Pages: 722-733
  • DOI: 10.1080/10447318.2016.1191744
  • NAID: 120005853266
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Presentation] 被作用物体とその位置を手掛かりとした実施工程の追跡に基づく作業者の意図推定 (2018)
  • Author(s): 松村優樹, 橋本敦史, 飯山将晃, 森信介, 美濃導彦
  • Organizer: 電子情報通信学会 メディアエクスペリエンス・バーチャル環境基礎研究会
• [Presentation] CNNによる深度画像を用いた視点不変な人物姿勢推定 (2018)
  • Author(s): 髙橋龍平, 薗頭元春, 橋本敦史, 飯山将晃, 美濃導彦
  • Organizer: 電子情報通信学会大会
• [Presentation] Procedural Text Generation from an Execution Video (2017)
  • Author(s): Atsushi Ushiku, Hayato Hashimoto, Atsushi Hashimoto, Shinsuke Mori
  • Organizer: The 8th International Joint Conference on Natural Language Processing
  • Int'l Joint Research
• [Presentation] 多視点データ学習による視点不変な人物姿勢推定 (2017)
  • Author(s): 高木 和久, 橋本 敦史, 飯山 将晃, 美濃 導彦
  • Organizer: 電子情報通信学会PRMU研究会
  • Place of Presentation: 京都大学
• [Presentation] 調理過程画像に写る食材の認識 (2017)
  • Author(s): 藤野 拓海, 橋本 敦史, 原島 純, 飯山将晃, 美濃導彦
  • Organizer: 電子情報通信学会MVE研究会
  • Place of Presentation: 京都大学
• [Presentation] 物体への接触に基づいて意図センシングを行うレシピナビゲーションシステム (2016)
  • Author(s): 橋本敦史, 藤野 拓海, 舩冨 卓哉, 飯山 将晃, 美濃 導彦
  • Organizer: 第19回画像の認識・理解シンポジウム
  • Place of Presentation: 浜松市
  • Year and Date: 2016-08-02
• [Presentation] 無形概念認識の実現に向けてどんな技術が求められるのか？ (2016)
  • Author(s): 橋本敦史
  • Organizer: 電子情報通信学会PRMU研究会
  • Place of Presentation: 鳥取大学
• [Presentation] Design in Everyday Cooking: Challenges for Assisting with Menu Planning and Food Preparation (2016)
  • Author(s): Atsushi Hashimoto, Jun Harashima, Yoko Yamakata, Shinsuke Mori
  • Organizer: International Conference on Cross-Cultural Design 2016
  • Place of Presentation: Tronto, Canada
  • Int'l Joint Research
• [Presentation] KUSK Object Dataset: Recording access to objects in food preparation (2016)
  • Author(s): Atsushi Hashimoto, Shinsuke Mori, Masaaki Iiyama, Michihiko Minoh
  • Organizer: 2016 IEEE International Conference on Multimedia & Expo Workshops
  • Place of Presentation: Seattle, USA
  • Int'l Joint Research
• [Remarks] デモ動画：意図推定による自動の提示情報切り替え
  • URL: http://www.mm.media.kyoto-u.ac.jp/wp-content/uploads/2018/03/demo.webm?_=1