• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2021 Fiscal Year Research-status Report

Human internal state estimation focusing on differences between conscious and unconscious behaviors

Research Project

Project/Area Number 21K11968
Research InstitutionUniversity of Hyogo

Principal Investigator

山添 大丈  兵庫県立大学, 工学研究科, 准教授 (70418523)

Co-Investigator(Kenkyū-buntansha) 桑原 教彰  京都工芸繊維大学, 情報工学・人間科学系, 教授 (60395168)
米澤 朋子  関西大学, 総合情報学部, 教授 (90395161)
Project Period (FY) 2021-04-01 – 2024-03-31
Keywords内部状態 / 視認 / VR / ロボット / 脳波 / 感情 / 触覚
Outline of Annual Research Achievements

内部状態として、周辺環境中の物体を視覚的に認識したかどうか(視認)に着目し、その推定モデル構築のために、VRベースの実験環境を構築し予備実験を行った。実験の結果、視認の難しさによって視認時の対象物体と視線方向の関係性が変化することを確認した。今後は、多数の被験者による実験を進めるとともに、実際の環境に近い状況を想定した実験も行っていく。また、人とロボットのインタラクションを通じた人の内部状態(印象)の変化についても検討を進めた。これまでに開発してきた小型ロボットを想定した、VRベースの実験環境を構築し、人とロボットのインタラクションによるロボットへの印象の変化に関する予備実験を進めている。さらに、触覚などの様々なモダリティを通じたロボットとのインタラクションによる内部状態への影響についても検討を進めている。
脳波によって高齢者のポジティブ、ネガティブな感情をBi-LSTMモデルを用いて推定する技術を研究した。Bi-LSTMは過去と将来の感情を考慮した推定を行うことから、高齢者の感情推定に極めて効果的であることを確認した。また脳波だけで高精度で感情推定が可能なことも確認した。次に動画像からの人の行動識別について検討した。Infrated 3D ConvNetという手法により400種別の行動ラベルについての事後確率が得られる。これを400次元の行動の特徴ベクトルと考え、その出力をSupport Vector Machine、及び Random Forest により学習、識別させることを試みた。その結果10以上の工程からなる作業の各工程を、75%以上の精度で識別できることを示した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

新型コロナの影響で、実験の一部が実施できていないものの、予備実験レベルでの検討は進んでおり、おおむね順調に進展していると言える。

Strategy for Future Research Activity

新型コロナウイルス感染症の影響を受けない形での評価について検討するとともに,安全を確保した形での実験実施を検討している.

Causes of Carryover

新型コロナの影響で実験の一部が実施できなかったために、次年度使用額が生じた。それらの実験を次年度に実施予定である。

  • Research Products

    (23 results)

All 2022 2021

All Journal Article (3 results) (of which Peer Reviewed: 3 results) Presentation (20 results) (of which Int'l Joint Research: 7 results)

  • [Journal Article] Emotion Recognition Using Electroencephalography Signals of Older People for Reminiscence Therapy2022

    • Author(s)
      Jiang Lei、Siriaraya Panote、Choi Dongeun、Kuwahara Noriaki
    • Journal Title

      Frontiers in Physiology

      Volume: 12 Pages: -

    • DOI

      10.3389/fphys.2021.823013

    • Peer Reviewed
  • [Journal Article] Personalized face-pose estimation network using incrementally updated face shape parameters2022

    • Author(s)
      Sei Makoto、Utsumi Akira、Yamazoe Hirotake、Lee Joo-Ho
    • Journal Title

      Applied Intelligence

      Volume: - Pages: -

    • DOI

      10.1007/s10489-021-02888-0

    • Peer Reviewed
  • [Journal Article] ロボットの恐怖を伝える複数の不随意な皮膚上生理表現における量的影響の検討2021

    • Author(s)
      孟暁順, 吉田直人, 万キン, 米澤朋子
    • Journal Title

      知能と情報(日本知能情報ファジィ学会誌)

      Volume: 33 Pages: 501--515

    • Peer Reviewed
  • [Presentation] 自律したクッキングリハビリを可能とするための行動識別の一検討2022

    • Author(s)
      岸本 晃, シリアーラヤ パノット, 桑原 教彰
    • Organizer
      ヒューマンインタフェース学会第188回研究会
  • [Presentation] Preliminary analysis of effective assistance timing for iterative visual search tasks using gaze-based visual cognition estimation2022

    • Author(s)
      Syunsuke Yoshida, Makoto Sei, Akira Utsumi, Hirotake Yamazoe
    • Organizer
      IEEE Conference on Virtual Reality 2022 Poster
    • Int'l Joint Research
  • [Presentation] リズム聴取におけるエージェントの内部状態表出によるユーザの共聴体験への影響2022

    • Author(s)
      石田真子,竹村響,米澤朋子
    • Organizer
      電子情報通信学会MVE研究会 MVE2021-31
  • [Presentation] 和音が励起するエージェントの感情に基づく表情提示の音楽聴取感覚への影響2022

    • Author(s)
      竹村響,石田真子,米澤朋子
    • Organizer
      電子情報通信学会MVE研究会 MVE2021-32
  • [Presentation] 対面英会話を模す没入型RPGゲームにおける韻律情報を用いた会話積極性評価の導入2022

    • Author(s)
      松村直季,米澤朋子
    • Organizer
      電子情報通信学会MVE研究会 MVE2021-33
  • [Presentation] グループ学習を模す集団エージェントの作業雰囲気の生成モデルの提案2022

    • Author(s)
      王聡,米澤朋子
    • Organizer
      電子情報通信学会MVE研究会 MVE2021-35
  • [Presentation] 運動と思考問題を組み合わせたマルチタスクトレーニングシステムの試作と評価2022

    • Author(s)
      松山航大,張雅沢, 米澤朋子
    • Organizer
      HI学会研究会 Vol. 24, No. 1, pp.59-68
  • [Presentation] 親近性の異なる3種類の仮想エージェントを用いた不登校児童生徒リハビリ用シミュレーション2022

    • Author(s)
      岡田純輝, 米澤朋子
    • Organizer
      HI学会研究会 Vol. 24, No. 1, pp. 69-78
  • [Presentation] リラクゼーションや緊張感をもたらすぬいぐるみ型アンビエント心拍提示デバイス2022

    • Author(s)
      神牧尚希,米澤朋子
    • Organizer
      電子情報通信学会MVE研究会 MVE2021-90
  • [Presentation] モーフィングを活用したweb会議の「顔出し」促進システム2022

    • Author(s)
      吉次俊輔,美馬亮太,小林奎太,大林太郎,米澤朋子
    • Organizer
      電子情報通信学会MVE研究会 MVE2021-89
  • [Presentation] Preliminary analysis of visual cognition estimation in VR toward effective assistance timing for iterative visual search tasks2021

    • Author(s)
      Syunsuke Yoshida, Makoto Sei, Akira Utsumi, Hirotake Yamazoe
    • Organizer
      The 27th ACM Symposium on Virtual Reality Software and Technology (VRST2021), Poster
    • Int'l Joint Research
  • [Presentation] Fumio Hamanaka, Syunsuke Yoshida, Hirotake Yamazoe,2021

    • Author(s)
      Impression evaluation of interaction among robots based on collision avoidance behaviors
    • Organizer
      The Ninth International Conference on Human-Agent Interaction (HAI2021), Poster
    • Int'l Joint Research
  • [Presentation] Tomoko Yonezawa, Hirotake Yamazoe,2021

    • Author(s)
      Toward Internal-state-based Parameterized model of Robot’s Touching Manners based on Subjective Evaluation
    • Organizer
      The Ninth International Conference on Human-Agent Interaction (HAI2021), Poster
    • Int'l Joint Research
  • [Presentation] Fumio Hamanaka, Syunsuke Yoshida, Hirotake Yamazoe,2021

    • Author(s)
      Designing interaction among robots that changes impressions on robots
    • Organizer
      International Conference on Intelligent Robots and Systems (IROS2021) Late Breaking Results (poster)
    • Int'l Joint Research
  • [Presentation] 視認難易度に基づく視認推定とVR環境における視覚探索タスク支援への応用2021

    • Author(s)
      吉田竣亮, 施真琴, 内海章, 山添大丈,
    • Organizer
      画像の認識・理解シンポジウム(MIRU2021)
  • [Presentation] 視線情報に基づく視認推定とその視覚探索タスク支援への応用2021

    • Author(s)
      吉田竣亮, 施真琴, 内海章, 山添大丈
    • Organizer
      第18回コンピューテーショナル・インテリジェンス研究会
  • [Presentation] Attention-Guidance Method Based on Conforming Behavior of Multiple Virtual Agents for Pedestrians2021

    • Author(s)
      Naoto Yoshida, Tomoko Yonezawa
    • Organizer
      IVA2021
    • Int'l Joint Research
  • [Presentation] Community Interaction Optimization on Twitter for people with Mood Disorders2021

    • Author(s)
      Yuichi Okada, Naoya Itoh, Tomoko Yonezawa
    • Organizer
      SOTICS2021
    • Int'l Joint Research
  • [Presentation] 心電計測に基づくユーザ内部状態の変化の推定と愛着フィードバックの検討2021

    • Author(s)
      神牧尚希, 村上菜摘, 米澤朋子.
    • Organizer
      信学技報MVE研究会 MVE2021-9
  • [Presentation] ゲーム没入環境におけるキャラクタとの対面英会話学習システムの提案2021

    • Author(s)
      松村直季, 米澤朋子
    • Organizer
      信学技報MVE研究会 MVE2021-9

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi