• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

A Study on Embodied Expression based on Body Movement - Emotion Bigdata and Its Application for Machine Learning

Research Project

Project/Area Number 20H04096
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 59030:Physical education, and physical and health education-related
Research InstitutionKwansei Gakuin University

Principal Investigator

Yamamoto Michiya  関西学院大学, 工学部, 教授 (60347606)

Co-Investigator(Kenkyū-buntansha) 青柳 西蔵  駒澤大学, グローバル・メディア・スタディーズ学部, 講師 (20646228)
長松 隆  神戸大学, 海事科学研究科, 教授 (80314251)
廣江 葵  関西学院大学, 工学部, 研究員 (40963228)
阪田 真己子  同志社大学, 文化情報学部, 教授 (10352551)
Project Period (FY) 2020-04-01 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥17,290,000 (Direct Cost: ¥13,300,000、Indirect Cost: ¥3,990,000)
Fiscal Year 2022: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
Fiscal Year 2021: ¥7,540,000 (Direct Cost: ¥5,800,000、Indirect Cost: ¥1,740,000)
Fiscal Year 2020: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Keywords身体動作表情 / ラバン行動分析 / 身体的インタラクション / ラバン理論 / 感情推定
Outline of Research at the Start

心理状態と身体運動の相関関係を規定する理論として、ラバン理論は、身体表現の分野で広く知られているが、動作解析への応用は進まなかった。申請者らは、独自に高品質な身体動作‐感情ビッグデータを構築・分析することで、この動作解析への応用に一つの解を与え、内面状態が言葉や顔表情よりむしろ身体動作を介して表出されることを示している。本研究では、これらの性質を詳細に解明する新たなデータ分析手法により、「身体動作表情」すなわち身体を介した感情表出の仕組みを明らかにした上で、機械学習によりこの知見を活用する基盤を確立する。

Outline of Final Research Achievements

Technologies for sensing and understanding human body movements has been developed. By focusing on the generality of Laban Movement Analysis, we constructed a embodied movement bigdata, developed original feature values, and estimation of internal states such as emotions. In this study, we performed a study on embodied expression for comprehensive understanding of them and its application for machine learning. In detail, we constructed big data of a video watching task with small body and a vispoke task with various movements, developed new feature values and their evaluation using machine learning. We thus clarified what is embodied expressions, such as the direction of body movement which express more about internal state.

Academic Significance and Societal Importance of the Research Achievements

身体表現理論を起点とする本研究は、普遍性の高さ、実証研究との近さという点で、他の感情認識研究と一線を画する。精緻な身体動作‐感情ビッグデータを活用して、身体を介した感情表出における性質「身体動作表情」が明らかにされた例はなく、この知見を機械学習に応用し、その活用基盤を構築することは、将来の、人と情報環境のかかわりの在り方を大きく変容させるものである。

Report

(4 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Annual Research Report
  • 2020 Annual Research Report
  • Research Products

    (30 results)

All 2023 2022 2021 2020 Other

All Journal Article (6 results) (of which Peer Reviewed: 6 results,  Open Access: 3 results) Presentation (22 results) (of which Int'l Joint Research: 5 results) Remarks (2 results)

  • [Journal Article] Partner robot impression change through long-term evaluation2021

    • Author(s)
      青柳 西蔵、福森 聡、山本 倫也
    • Journal Title

      The Transactions of Human Interface Society

      Volume: 23 Issue: 1 Pages: 109-120

    • DOI

      10.11184/his.23.1_109

    • NAID

      130007991297

    • ISSN
      1344-7262, 2186-8271
    • Year and Date
      2021-02-25
    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] うなずく学生キャラクタがかかわりを実感させるオンデマンド授業の配信に関する研究2021

    • Author(s)
      藤井 亮哉, 広瀬 隼人, 青柳 西蔵, 山本 倫也
    • Journal Title

      ヒューマンインタフェース学会論文誌

      Volume: Vol.23, No.3 Pages: 315-328

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] ラバン特徴量の表出タイプ分類に基づく感情推定手法のデザイン制作への適用2021

    • Author(s)
      小野 友己, 青柳 西蔵, 杉本 匡史, 山本 倫也, 長田 典子
    • Journal Title

      ヒューマンインタフェース学会論文誌

      Volume: Vol.23, No.3 Pages: 359-372

    • NAID

      130008077659

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Effect of Arm Height and Number of People on Impression of Hand Raising in Group Communication2020

    • Author(s)
      南出 健、青柳 西蔵、福森 聡、山本 倫也
    • Journal Title

      情報処理学会論文誌

      Volume: 61 Issue: 6 Pages: 1216-1225

    • DOI

      10.20729/00204784

    • NAID

      170000181981

    • Year and Date
      2020-06-15
    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] The Examination of Customers’Psychological Activities during Bespoke Service by Using Electrodermal Activity2020

    • Author(s)
      張 帆、杉本 匡史、山﨑 陽一、宮井 彩希、小幡 浩大、山本 倫也、長田 典子
    • Journal Title

      Japanese Journal of Biofeedback Research

      Volume: 47 Issue: 2 Pages: 33-42

    • DOI

      10.20595/jjbf.47.2_33

    • NAID

      130007939023

    • ISSN
      0386-1856, 2432-3888
    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] A Long-Term Evaluation of Social Robot Impression2020

    • Author(s)
      Aoyagi Saizo、Fukumori Satoshi、Yamamoto Michiya
    • Journal Title

      Human Interface and the Management of Information. Interacting with Information

      Volume: 12185 Pages: 131-144

    • DOI

      10.1007/978-3-030-50017-7_9

    • ISBN
      9783030500160, 9783030500177
    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Presentation] Implicit User Calibration for Gaze-tracking Systems Using Saliency Maps Filtered by Eye Movements2023

    • Author(s)
      Mamoru Hiroe, Michiya Yamamoto, Takashi Nagamatsu
    • Organizer
      The 8th International Workshop on Pervasive Eye Tracking and Mobile Eye-based Interaction
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 対面授業とそのオンデマンド配信に基づくうなずく学生キャラクタの導入効果の分析2023

    • Author(s)
      藤井 亮哉,原 成史朗,青柳 西蔵,山本 倫也
    • Organizer
      情報処理学会HCI研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 通級指導教室の児童に向けた眼球運動トレーニングシステムの開発2023

    • Author(s)
      小林 史弥,山田 颯,藤原 蒼太,青柳 西蔵,山本 倫也
    • Organizer
      情報処理学会HCI研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 仮想の手と地図を介して広範囲の地形を知覚できるVRシステムの開発2023

    • Author(s)
      岡崎 亮満, 青柳 西蔵, 山本 倫也
    • Organizer
      情報処理学会第85回全国大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] ラバン行動分析に基づく感情推定における身体動作の方向に着目した特徴量の検討2023

    • Author(s)
      藤原 蒼太, 小林 史弥, 青柳 西蔵, 山本 倫也
    • Organizer
      HAIシンポジウム2023
    • Related Report
      2022 Annual Research Report
  • [Presentation] A Study on the Back and Forth Manzai of Milkboy by Focusing on Embodied Motions and Actions for Liven-up2022

    • Author(s)
      Hong Zhang, Haruka Shoda, Saizo Aoyagi and Michiya Yamamoto
    • Organizer
      Proceedings of the 24th International Conference on Human-Computer Interaction (HCII 2022)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 動画視聴時の感情表出における身体動作・目元情報・生理指標の関係性の分析2022

    • Author(s)
      山田 颯, 小林 史弥, 藤原 蒼太, 青柳 西蔵, 山本 倫也
    • Organizer
      電子情報通信学会HCS研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] タブレットベースロボットの目の表現における光のモチーフの導入効果2022

    • Author(s)
      大場 雅博, 山本 倫也, 青柳 西蔵
    • Organizer
      HAIシンポジウム2022
    • Related Report
      2021 Annual Research Report
  • [Presentation] 身体動作による盛り上げに着目したミルクボーイの行ったり来たり漫才の分析2022

    • Author(s)
      張 弘, 山本 倫也
    • Organizer
      HAIシンポジウム2022
    • Related Report
      2021 Annual Research Report
  • [Presentation] 講義動画への学生キャラクタのうなずき, だらけ動作の導入効果と対面授業との比較2022

    • Author(s)
      原 成史朗, 藤井 亮哉, 青柳 西蔵, 山本 倫也
    • Organizer
      ヒューマンインタフェース学会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 感情喚起の個人差に着目した目元-感情データセットの構築と機械学習による評価2022

    • Author(s)
      小林 史弥, 荻 光輝, 山田 颯, 青柳 西蔵, 山本 倫也
    • Organizer
      ヒューマンインタフェース学会
    • Related Report
      2021 Annual Research Report
  • [Presentation] ラバン行動分析に基づく動画視聴時における感情推定のための特徴量についての検討2022

    • Author(s)
      藤原 蒼太, 小林 史弥, 青柳 西蔵, 杉本 匡史, 山本 倫也, 長田 典子
    • Organizer
      ヒューマンインタフェース学会
    • Related Report
      2021 Annual Research Report
  • [Presentation] A robot that tells you it is watching you with its eyes2021

    • Author(s)
      Saizo Aoyagi, Yoshihiro Sejima, Michiya Yamamoto
    • Organizer
      Proceedings of the 23rd International Conference on Human-Computer Interaction (HCII 2021)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] On-demand Lectures that Enable Students to Feel the Sense of a Classroom with Students who Learn Together2021

    • Author(s)
      Ryoya Fujii, Hayato Hirose, Saizo Aoyagi, Michiya Yamamoto
    • Organizer
      Proceedings of the 23rd International Conference on Human-Computer Interaction (HCII 2021)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Modeling salesclerks’ utterances in bespoke scenes and evaluating them using a communication robot2021

    • Author(s)
      Fumiya Kobayashi, Masashi Sugimoto, Saizo Aoyagi, Michiya Yamamoto, Noriko Nagata
    • Organizer
      Proceedings of the 23rd International Conference on Human-Computer Interaction (HCII 2021)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] ビスポーク場面における販売員の発話内容のモデル化とロボットによるコミュニケーション効果2021

    • Author(s)
      小林 史弥, 杉本 匡史, 青柳 西蔵, 山本 倫也, 長田 典子
    • Organizer
      ヒューマンインタフェース学会
    • Related Report
      2021 Annual Research Report
  • [Presentation] ラバン特徴量に基づく感情推定手法のビスポーク場面への適用に関する検討2021

    • Author(s)
      藤原 蒼太, 小林 史弥, 青柳 西蔵, 杉本 匡史, 山本 倫也, 長田 典子
    • Organizer
      ヒューマンインタフェースシンポジウム2021
    • Related Report
      2021 Annual Research Report
  • [Presentation] かかわりが実感できるオンラインコミュニケーションをめざして2021

    • Author(s)
      山本 倫也
    • Organizer
      令和3年電気関係学会関西連合大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] タブレットベースロボットにおける温かみのある目の表現手法に関する検討2021

    • Author(s)
      大場 雅博, 青柳 西蔵, 山本 倫也
    • Organizer
      第22回計測自動制御学会システムインテグレーション部門
    • Related Report
      2021 Annual Research Report
  • [Presentation] CG教室にうなずく学生キャラクタを導入したオンデマンド授業の配信に関する研究2021

    • Author(s)
      藤井 亮哉, 広瀬 隼人, 青柳 西蔵, 山本 倫也
    • Organizer
      HAIシンポジウム2021
    • Related Report
      2020 Annual Research Report
  • [Presentation] ミルクボーイはどのようにウケているのか~基本ユニットの抽出とその変化の分析から~2021

    • Author(s)
      張 弘, 山本 倫也
    • Organizer
      HAIシンポジウム2021
    • Related Report
      2020 Annual Research Report
  • [Presentation] オンライン授業における教室の360度動画配信の試み2020

    • Author(s)
      広瀬 隼人, 青柳 西蔵, 山本 倫也
    • Organizer
      ヒューマンインタフェースサイバーコロキウム(HIC2 2020)
    • Related Report
      2020 Annual Research Report
  • [Remarks] 山本倫也教授教員紹介

    • URL

      https://cs.kwansei.ac.jp/teacher/yamamoto/

    • Related Report
      2022 Annual Research Report 2021 Annual Research Report 2020 Annual Research Report
  • [Remarks] 山本倫也研究室ホームページ

    • URL

      https://cs.kwansei.ac.jp/~yamamoto/

    • Related Report
      2022 Annual Research Report 2021 Annual Research Report 2020 Annual Research Report

URL: 

Published: 2020-04-28   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi