• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

身体動作‐感情ビッグデータに基づく「身体動作表情」の解明と機械学習への展開

研究課題

研究課題/領域番号 20H04096
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
審査区分 小区分59030:体育および身体教育学関連
研究機関関西学院大学

研究代表者

山本 倫也  関西学院大学, 工学部, 教授 (60347606)

研究分担者 青柳 西蔵  駒澤大学, グローバル・メディア・スタディーズ学部, 講師 (20646228)
長松 隆  神戸大学, 海事科学研究科, 教授 (80314251)
廣江 葵  関西学院大学, 工学部, 研究員 (40963228)
阪田 真己子  同志社大学, 文化情報学部, 教授 (10352551)
研究期間 (年度) 2020-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
17,290千円 (直接経費: 13,300千円、間接経費: 3,990千円)
2022年度: 5,070千円 (直接経費: 3,900千円、間接経費: 1,170千円)
2021年度: 7,540千円 (直接経費: 5,800千円、間接経費: 1,740千円)
2020年度: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
キーワード身体動作表情 / ラバン行動分析 / 身体的インタラクション / ラバン理論 / 感情推定
研究開始時の研究の概要

心理状態と身体運動の相関関係を規定する理論として、ラバン理論は、身体表現の分野で広く知られているが、動作解析への応用は進まなかった。申請者らは、独自に高品質な身体動作‐感情ビッグデータを構築・分析することで、この動作解析への応用に一つの解を与え、内面状態が言葉や顔表情よりむしろ身体動作を介して表出されることを示している。本研究では、これらの性質を詳細に解明する新たなデータ分析手法により、「身体動作表情」すなわち身体を介した感情表出の仕組みを明らかにした上で、機械学習によりこの知見を活用する基盤を確立する。

研究成果の概要

人の動作をセンシングし、理解する技術の開発が進んでいる。これまで、身体表現理論であるラバン行動分析の普遍性に着目し、身体動作ビッグデータの構築、独自の特徴量の定義、感情などの内的状態の推定の研究を進めてきた。本研究では、これらを網羅的に理解する「身体動作表情」の解明と、その機械学習への展開を行った。具体的には、動作の少ない動画視聴タスク、様々な動作が生起するビスポークタスクを設定してビッグデータを構築し、特徴量の解明と機械学習による評価を行った。この結果、内的状態が表出されやすい身体動作の方向など、身体動作表情の特徴を明らかにした。

研究成果の学術的意義や社会的意義

身体表現理論を起点とする本研究は、普遍性の高さ、実証研究との近さという点で、他の感情認識研究と一線を画する。精緻な身体動作‐感情ビッグデータを活用して、身体を介した感情表出における性質「身体動作表情」が明らかにされた例はなく、この知見を機械学習に応用し、その活用基盤を構築することは、将来の、人と情報環境のかかわりの在り方を大きく変容させるものである。

報告書

(4件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実績報告書
  • 2020 実績報告書
  • 研究成果

    (30件)

すべて 2023 2022 2021 2020 その他

すべて 雑誌論文 (6件) (うち査読あり 6件、 オープンアクセス 3件) 学会発表 (22件) (うち国際学会 5件) 備考 (2件)

  • [雑誌論文] 長期評価を通したパートナーロボットの印象変化2021

    • 著者名/発表者名
      青柳 西蔵、福森 聡、山本 倫也
    • 雑誌名

      ヒューマンインタフェース学会論文誌

      巻: 23 号: 1 ページ: 109-120

    • DOI

      10.11184/his.23.1_109

    • NAID

      130007991297

    • ISSN
      1344-7262, 2186-8271
    • 年月日
      2021-02-25
    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] うなずく学生キャラクタがかかわりを実感させるオンデマンド授業の配信に関する研究2021

    • 著者名/発表者名
      藤井 亮哉, 広瀬 隼人, 青柳 西蔵, 山本 倫也
    • 雑誌名

      ヒューマンインタフェース学会論文誌

      巻: Vol.23, No.3 ページ: 315-328

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] ラバン特徴量の表出タイプ分類に基づく感情推定手法のデザイン制作への適用2021

    • 著者名/発表者名
      小野 友己, 青柳 西蔵, 杉本 匡史, 山本 倫也, 長田 典子
    • 雑誌名

      ヒューマンインタフェース学会論文誌

      巻: Vol.23, No.3 ページ: 359-372

    • NAID

      130008077659

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] 集団コミュニケーションにおける挙手の印象への手の高さと人数の影響:スクリーンとVRヘッドセットの各提示環境において2020

    • 著者名/発表者名
      南出 健、青柳 西蔵、福森 聡、山本 倫也
    • 雑誌名

      情報処理学会論文誌

      巻: 61 号: 6 ページ: 1216-1225

    • DOI

      10.20729/00204784

    • NAID

      170000181981

    • 年月日
      2020-06-15
    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 皮膚電気活動を用いたビスポークサービス時の顧客の心理活動計測2020

    • 著者名/発表者名
      張 帆、杉本 匡史、山﨑 陽一、宮井 彩希、小幡 浩大、山本 倫也、長田 典子
    • 雑誌名

      バイオフィードバック研究

      巻: 47 号: 2 ページ: 33-42

    • DOI

      10.20595/jjbf.47.2_33

    • NAID

      130007939023

    • ISSN
      0386-1856, 2432-3888
    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] A Long-Term Evaluation of Social Robot Impression2020

    • 著者名/発表者名
      Aoyagi Saizo、Fukumori Satoshi、Yamamoto Michiya
    • 雑誌名

      Human Interface and the Management of Information. Interacting with Information

      巻: 12185 ページ: 131-144

    • DOI

      10.1007/978-3-030-50017-7_9

    • ISBN
      9783030500160, 9783030500177
    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [学会発表] Implicit User Calibration for Gaze-tracking Systems Using Saliency Maps Filtered by Eye Movements2023

    • 著者名/発表者名
      Mamoru Hiroe, Michiya Yamamoto, Takashi Nagamatsu
    • 学会等名
      The 8th International Workshop on Pervasive Eye Tracking and Mobile Eye-based Interaction
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 対面授業とそのオンデマンド配信に基づくうなずく学生キャラクタの導入効果の分析2023

    • 著者名/発表者名
      藤井 亮哉,原 成史朗,青柳 西蔵,山本 倫也
    • 学会等名
      情報処理学会HCI研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 通級指導教室の児童に向けた眼球運動トレーニングシステムの開発2023

    • 著者名/発表者名
      小林 史弥,山田 颯,藤原 蒼太,青柳 西蔵,山本 倫也
    • 学会等名
      情報処理学会HCI研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 仮想の手と地図を介して広範囲の地形を知覚できるVRシステムの開発2023

    • 著者名/発表者名
      岡崎 亮満, 青柳 西蔵, 山本 倫也
    • 学会等名
      情報処理学会第85回全国大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] ラバン行動分析に基づく感情推定における身体動作の方向に着目した特徴量の検討2023

    • 著者名/発表者名
      藤原 蒼太, 小林 史弥, 青柳 西蔵, 山本 倫也
    • 学会等名
      HAIシンポジウム2023
    • 関連する報告書
      2022 実績報告書
  • [学会発表] A Study on the Back and Forth Manzai of Milkboy by Focusing on Embodied Motions and Actions for Liven-up2022

    • 著者名/発表者名
      Hong Zhang, Haruka Shoda, Saizo Aoyagi and Michiya Yamamoto
    • 学会等名
      Proceedings of the 24th International Conference on Human-Computer Interaction (HCII 2022)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 動画視聴時の感情表出における身体動作・目元情報・生理指標の関係性の分析2022

    • 著者名/発表者名
      山田 颯, 小林 史弥, 藤原 蒼太, 青柳 西蔵, 山本 倫也
    • 学会等名
      電子情報通信学会HCS研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] タブレットベースロボットの目の表現における光のモチーフの導入効果2022

    • 著者名/発表者名
      大場 雅博, 山本 倫也, 青柳 西蔵
    • 学会等名
      HAIシンポジウム2022
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 身体動作による盛り上げに着目したミルクボーイの行ったり来たり漫才の分析2022

    • 著者名/発表者名
      張 弘, 山本 倫也
    • 学会等名
      HAIシンポジウム2022
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 講義動画への学生キャラクタのうなずき, だらけ動作の導入効果と対面授業との比較2022

    • 著者名/発表者名
      原 成史朗, 藤井 亮哉, 青柳 西蔵, 山本 倫也
    • 学会等名
      ヒューマンインタフェース学会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 感情喚起の個人差に着目した目元-感情データセットの構築と機械学習による評価2022

    • 著者名/発表者名
      小林 史弥, 荻 光輝, 山田 颯, 青柳 西蔵, 山本 倫也
    • 学会等名
      ヒューマンインタフェース学会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] ラバン行動分析に基づく動画視聴時における感情推定のための特徴量についての検討2022

    • 著者名/発表者名
      藤原 蒼太, 小林 史弥, 青柳 西蔵, 杉本 匡史, 山本 倫也, 長田 典子
    • 学会等名
      ヒューマンインタフェース学会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] A robot that tells you it is watching you with its eyes2021

    • 著者名/発表者名
      Saizo Aoyagi, Yoshihiro Sejima, Michiya Yamamoto
    • 学会等名
      Proceedings of the 23rd International Conference on Human-Computer Interaction (HCII 2021)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] On-demand Lectures that Enable Students to Feel the Sense of a Classroom with Students who Learn Together2021

    • 著者名/発表者名
      Ryoya Fujii, Hayato Hirose, Saizo Aoyagi, Michiya Yamamoto
    • 学会等名
      Proceedings of the 23rd International Conference on Human-Computer Interaction (HCII 2021)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Modeling salesclerks’ utterances in bespoke scenes and evaluating them using a communication robot2021

    • 著者名/発表者名
      Fumiya Kobayashi, Masashi Sugimoto, Saizo Aoyagi, Michiya Yamamoto, Noriko Nagata
    • 学会等名
      Proceedings of the 23rd International Conference on Human-Computer Interaction (HCII 2021)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] ビスポーク場面における販売員の発話内容のモデル化とロボットによるコミュニケーション効果2021

    • 著者名/発表者名
      小林 史弥, 杉本 匡史, 青柳 西蔵, 山本 倫也, 長田 典子
    • 学会等名
      ヒューマンインタフェース学会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] ラバン特徴量に基づく感情推定手法のビスポーク場面への適用に関する検討2021

    • 著者名/発表者名
      藤原 蒼太, 小林 史弥, 青柳 西蔵, 杉本 匡史, 山本 倫也, 長田 典子
    • 学会等名
      ヒューマンインタフェースシンポジウム2021
    • 関連する報告書
      2021 実績報告書
  • [学会発表] かかわりが実感できるオンラインコミュニケーションをめざして2021

    • 著者名/発表者名
      山本 倫也
    • 学会等名
      令和3年電気関係学会関西連合大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] タブレットベースロボットにおける温かみのある目の表現手法に関する検討2021

    • 著者名/発表者名
      大場 雅博, 青柳 西蔵, 山本 倫也
    • 学会等名
      第22回計測自動制御学会システムインテグレーション部門
    • 関連する報告書
      2021 実績報告書
  • [学会発表] CG教室にうなずく学生キャラクタを導入したオンデマンド授業の配信に関する研究2021

    • 著者名/発表者名
      藤井 亮哉, 広瀬 隼人, 青柳 西蔵, 山本 倫也
    • 学会等名
      HAIシンポジウム2021
    • 関連する報告書
      2020 実績報告書
  • [学会発表] ミルクボーイはどのようにウケているのか~基本ユニットの抽出とその変化の分析から~2021

    • 著者名/発表者名
      張 弘, 山本 倫也
    • 学会等名
      HAIシンポジウム2021
    • 関連する報告書
      2020 実績報告書
  • [学会発表] オンライン授業における教室の360度動画配信の試み2020

    • 著者名/発表者名
      広瀬 隼人, 青柳 西蔵, 山本 倫也
    • 学会等名
      ヒューマンインタフェースサイバーコロキウム(HIC2 2020)
    • 関連する報告書
      2020 実績報告書
  • [備考] 山本倫也教授教員紹介

    • URL

      https://cs.kwansei.ac.jp/teacher/yamamoto/

    • 関連する報告書
      2022 実績報告書 2021 実績報告書 2020 実績報告書
  • [備考] 山本倫也研究室ホームページ

    • URL

      https://cs.kwansei.ac.jp/~yamamoto/

    • 関連する報告書
      2022 実績報告書 2021 実績報告書 2020 実績報告書

URL: 

公開日: 2020-04-28   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi