• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Estimating changes in emotions and physical condition by non-contact information during utterance for the purpose of communication support

Research Project

Project/Area Number 19K12909
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 90150:Medical assistive technology-related
Research InstitutionAkita University

Principal Investigator

Kageyama Yoichi  秋田大学, 理工学研究科, 教授 (40292362)

Project Period (FY) 2019-04-01 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2021: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2020: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2019: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Keywords非接触情報 / 心情変化 / 体調変化 / コミュニケーション支援 / 口唇の動き / 顔情報 / 熱赤外画像 / 機械学習 / 表情 / 口唇の動き特徴 / 自然表情 / 心情・体調変化 / センシング / 画像処理
Outline of Research at the Start

本研究では,コミュニケーション支援を目的とし,発話時に取得される口唇の動き・目の動き・顔温度・顔の各部位情報,並びに体動や脈拍などの非接触情報を併用して,対象者の内部状態である心情・体調変化を機械学習などの活用により認識する。本研究の成果は,発話者の特性を考慮して“喜びや退屈”などの心情変化と“定常状態やストレスなどで体調が悪い”などの体調変化を推定できるため,高齢者を対象とした見守り支援システムや感情理解を苦手とする人々へのコミュニケーション支援システムに活用することが可能である。

Outline of Final Research Achievements

In order to estimate changes in emotions and physical condition by non-contact information for the purpose of communication support, a speech segment extraction method, a speaker identification method, and a speech content estimation were proposed based on speech image data. A facial expression recognition model with an additional learning function was also constructed and its usefulness was evaluated. To understand the difference in facial expressions and the difference between intentional facial expressions and natural facial expressions, changes in facial temperature were analyzed. Furthermore, analysis of data on elderly people playing racing games revealed that the relative saturation ratio tends to increase when the emotion of "joy" was aroused. Finally, We developed a blink detection method and analyzed characteristic facial and body movements associated with emotional arousal using skeletal coordinate data.

Academic Significance and Societal Importance of the Research Achievements

新型コロナウイルスの影響を受け,私たちのコミュニケーション手段は大きく変化しオンラインで会議などを行う機会が増加した。また,情報の共有は容易になったものの,共感の共有は必ずしも容易ではない。本研究では,非接触情報を用いて心情・体調変化の推定を行い,コミュニケーションの支援を行うことを目的としており,検討内容は今後の情報社会において不可欠な技術・知見である。また,社会実装に向けた知見も多く得られている。さらに,高齢者を対象とした検討を行い,被験者の特徴を考慮したアルゴリズムの開発を行っている。このことは,一人ひとりの多様な幸せ(well-being)を実現する社会の構築に寄与するものである。

Report

(4 results)
  • 2021 Annual Research Report   Final Research Report ( PDF )
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (54 results)

All 2022 2021 2020 2019 Other

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 1 results) Presentation (48 results) (of which Int'l Joint Research: 10 results) Book (1 results) Remarks (2 results)

  • [Journal Article] LSTM-based Japanese Speaker Identification Using an Omnidirectional Camera and Voice Information2022

    • Author(s)
      E. Nakamura, Y. Kageyama, S. Hirose
    • Journal Title

      IEEJ Transactions on Electrical and Electronic Engineering

      Volume: 17 Issue: 5 Pages: 674-684

    • DOI

      10.1002/tee.23555

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Japanese Syllable Estimation using Lip and Chin Movements2022

    • Author(s)
      E. Nakamura, Y. Honda, Y. Kageyama, S. Hirose
    • Journal Title

      IEEJ Transactions on Electrical and Electronic Engineering

      Volume: 17

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Study into Relationship between Uchida-Kraepelin Psychodiagnostic Test Results and Number of Blinks2020

    • Author(s)
      S. Nakano, Y. Kageyama
    • Journal Title

      Journal of the Institute of Industrial Applications Engineers

      Volume: 8 Issue: 3 Pages: 89-94

    • DOI

      10.12792/jiiae.8.89

    • NAID

      40022604552

    • Related Report
      2020 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] Facial Feature Points for Japanese Speech Content Estimation2022

    • Author(s)
      E. Nakamura, Y. Honda, Y. Kageyama, S. Hirose
    • Organizer
      The 2022 IEEE 4th Global Conference on Life Sciences and Technologies (LifeTech 2022)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 映像視聴時における情動と骨格座標を用いた体動との関連性に関する基礎検討2022

    • Author(s)
      沢田 玲奈, 景山 陽一, 石沢 千佳子
    • Organizer
      令和3年度日本知能情報ファジィ学会東北支部研究会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 非集中(退屈)状態の推定を目的とした皮膚温度の変化に関する基礎検討2022

    • Author(s)
      田中 太郎, 石沢 千佳子, 景山 陽一
    • Organizer
      令和3年度日本知能情報ファジィ学会東北支部研究会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 高齢者を対象とするeスポーツ実施時の瞬き検出手法の開発2022

    • Author(s)
      梅北 空良, 景山 陽一, 末廣 健二, 高橋 伸明, 佐竹 久美, 小林 拓也, 渡邉 文人, 佐藤 直子
    • Organizer
      令和3年度日本知能情報ファジィ学会東北支部研究会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 故意表情および自然表情を対象とした顔表面温度の比較2022

    • Author(s)
      山田 真奈, 景山 陽一
    • Organizer
      情報処理学会第84回全国大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 高齢者を対象とするeスポーツ実施時の顔面皮膚温度解析2022

    • Author(s)
      三浦 有沙子, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 佐竹 久美, 小林 拓也, 渡邉 文人, 佐藤 直子
    • Organizer
      情報処理学会第84回全国大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 表情認識の精度向上を目的とした適応学習法に関する検討2022

    • Author(s)
      高松 未佳, 石井 雅樹, 景山 陽一
    • Organizer
      情報処理学会第84回全国大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 高齢者を対象とするeスポーツ実施時の顔色解析2022

    • Author(s)
      菊池 亮太, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 佐竹 久美, 小林 拓也, 渡邉 文人, 佐藤 直子
    • Organizer
      情報処理学会第84回全国大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] CNN-LSTMを用いた顔画像による発話内容推定に関する基礎検討2022

    • Author(s)
      本田 悠将, 中村 悦郎, 景山 陽一, 廣瀬 聡
    • Organizer
      情報処理学会第84回全国大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] Application of Speech Section Extraction Method Using Lip and Voice2021

    • Author(s)
      E. Nakamura, Y. Kageyama, S. Hirose
    • Organizer
      The Ninth International Conference on Materials Engineering for Resources
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 表情認識精度向上のための追加学習処理に関する検討2021

    • Author(s)
      高松 未佳, 石井 雅樹, 景山 陽一
    • Organizer
      映像情報メディア学会 2021年冬季大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] CNN-LSTMを用いた発話内容推定に関する基礎検討2021

    • Author(s)
      本田 悠将, 中村 悦郎, 景山 陽一, 廣瀬 聡
    • Organizer
      映像情報メディア学会 2021年冬季大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 発話に伴う口唇特徴点の動きと音素との関連性に関する解析2021

    • Author(s)
      中村 悦郎, 本田 悠将, 景山 陽一, 廣瀬 聡
    • Organizer
      映像情報メディア学会 2021年冬季大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 喜びの表情を対象とした顔表面温度解析2021

    • Author(s)
      山田 真奈, 景山 陽一
    • Organizer
      2021年度 情報処理学会東北支部研究会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 口唇の動きおよび色情報を用いた発話内容推定に関する検討2021

    • Author(s)
      本田 悠将, 中村 悦郎, 景山 陽一, 廣瀬 聡
    • Organizer
      第37回 ファジィ システム シンポジウム
    • Related Report
      2021 Annual Research Report
  • [Presentation] 発話内容の判別を目的とした口唇の動きの変化解析2021

    • Author(s)
      中村 悦郎, 本田 悠将, 景山 陽一, 廣瀬 聡
    • Organizer
      第37回 ファジィ システム シンポジウム
    • Related Report
      2021 Annual Research Report
  • [Presentation] 高齢者を対象とするeスポーツ実施前後の顔熱赤外画像を用いた皮膚温度変化解析2021

    • Author(s)
      三浦 有沙子, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 佐竹 久美, 小林 拓也, 渡邉 文人, 佐藤 直子, 熊谷 直史
    • Organizer
      第37回 ファジィ システム シンポジウム
    • Related Report
      2021 Annual Research Report
  • [Presentation] 高齢者を対象とするeスポーツ実施中における顔色情報の特徴解析2021

    • Author(s)
      菊地 亮太, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 佐竹 久美, 小林 拓也, 渡邉 文人, 佐藤 直子, 熊谷 直史
    • Organizer
      第37回 ファジィ システム シンポジウム
    • Related Report
      2021 Annual Research Report
  • [Presentation] 表情認識の精度向上を目的とした学習データの分析2021

    • Author(s)
      高松 未佳, 石井 雅樹, 景山 陽一
    • Organizer
      第37回 ファジィ システム シンポジウム
    • Related Report
      2021 Annual Research Report
  • [Presentation] 故意および自然表情の顔表面温度に関する基礎解析2021

    • Author(s)
      山田 真奈, 景山 陽一
    • Organizer
      2021年度電気関係学会東北支部連合大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 全方位カメラを用いた発話者判別手法における音声特徴量に関する検討2021

    • Author(s)
      中村 悦郎, 景山 陽一, 廣瀬 聡
    • Organizer
      2021年度電気関係学会東北支部連合大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 自然表情を対象とした顔表面温度に関する基礎解析2021

    • Author(s)
      山田 真奈, 景山 陽一
    • Organizer
      日本素材物性学会令和3年度年会
    • Related Report
      2021 Annual Research Report
  • [Presentation] Speech Section Extraction Method Using Image and Voice Information2021

    • Author(s)
      E. Nakamura, Y. Kageyama, S. Hirose
    • Organizer
      The 9th IIAE International Conference on Industrial Application Engineering 2021
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] Face Detection and Analysis of Relationship between Degree of Emotion Arousal and Facial Temperature2021

    • Author(s)
      M. Yamada, Y. Kageyama
    • Organizer
      The 9th IIAE International Conference on Industrial Application Engineering 2021
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] 画像情報と音声情報を用いた発話者判別手法における汎用性に関する検討2021

    • Author(s)
      中村 悦郎, 景山 陽一, 廣瀬 聡
    • Organizer
      情報処理学会第83回全国大会
    • Related Report
      2020 Research-status Report
  • [Presentation] LSTMを用いた口唇画像による発話内容推定に関する基礎検討2021

    • Author(s)
      本田 悠将, 中村 悦郎, 景山 陽一, 廣瀬 聡
    • Organizer
      令和2年度日本知能情報ファジィ学会東北支部研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] 高齢者を対象とするeスポーツ実施時の顔熱赤外画像と感情の関連に関する検討2021

    • Author(s)
      三浦 有沙子, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 佐竹 久美, 小林 拓也, 佐藤 雄介, 佐藤 直子, 熊谷 直史
    • Organizer
      令和2年度日本知能情報ファジィ学会東北支部研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] 高齢者を対象とするeスポーツ実施時の感情・関心推定法に関する基礎検討2021

    • Author(s)
      菊地 亮太, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 佐竹 久美, 小林 拓也, 佐藤 雄介, 佐藤 直子, 熊谷 直史
    • Organizer
      令和2年度日本知能情報ファジィ学会東北支部研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] Fuzzy-ARTを用いた表情認識モデルにおける警戒パラメータに関する検討2021

    • Author(s)
      高松 未佳, 石井 雅樹, 景山 陽一
    • Organizer
      令和2年度日本知能情報ファジィ学会東北支部研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] A Study on Feature Values as a Speaker Identification Method2020

    • Author(s)
      E. Nakamura, Y. Kageyama, M. Shirasu
    • Organizer
      Joint 11th International Conference on Soft Computing and Intelligent Systems and 21st International Symposium on Advanced Intelligent Systems (SCIS&ISIS2020)
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] 情動の強度と顔表面温度との関連性に関する検討2020

    • Author(s)
      山田 真奈, 景山 陽一
    • Organizer
      映像情報メディア学会 創立70周年記念大会
    • Related Report
      2020 Research-status Report
  • [Presentation] 画像情報と音声情報を用いた発話区間自動抽出手法2020

    • Author(s)
      中村 悦郎, 景山 陽一, 白須 礎成
    • Organizer
      映像情報メディア学会 創立70周年記念大会
    • Related Report
      2020 Research-status Report
  • [Presentation] 人物とカメラ間距離の変動を考慮した全方位カメラによる発話区間抽出法2020

    • Author(s)
      中村 悦郎, 景山 陽一, 白須 礎成
    • Organizer
      第63回 自動制御連合講演会
    • Related Report
      2020 Research-status Report
  • [Presentation] 熱動画像における情動喚起時の顔表面温度解析2020

    • Author(s)
      山田 真奈, 景山 陽一
    • Organizer
      2020年度電気関係学会東北支部連合大会
    • Related Report
      2020 Research-status Report
  • [Presentation] 全方位カメラを用いた発話区間抽出手法の改善2020

    • Author(s)
      中村 悦郎, 景山 陽一, 白須 礎成
    • Organizer
      2020年度電気関係学会東北支部連合大会
    • Related Report
      2020 Research-status Report
  • [Presentation] 全方位カメラを用いた発話者判別手法の機械学習モデルに関する検討2020

    • Author(s)
      中村 悦郎, 景山 陽一, 白須 礎成
    • Organizer
      第23回 画像の認識・理解シンポジウム(MIRU2020)
    • Related Report
      2020 Research-status Report
  • [Presentation] Resetting Threshold Values for Improving Facial Expression Recognition Accuracy2020

    • Author(s)
      R. Kiyokawa, M. Ishii, Y. Kageyama
    • Organizer
      The 2020 IEEE 2nd Global Conference on Life Sciences and Technologies (LifeTech 2020)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] Identification of Utterance Content Using Lip Movement Features2020

    • Author(s)
      M. Tanaka, E. Nakamura, Y. Kageyama, M. Shirasu, M. Ishii, M. Nishida
    • Organizer
      The 2020 IEEE 2nd Global Conference on Life Sciences and Technologies (LifeTech 2020)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] Speaker Identification Method Using Facial Image and Voice2020

    • Author(s)
      E. Nakamura, Y. Kageyama, M. Shirasu
    • Organizer
      The 2020 IEEE 2nd Global Conference on Life Sciences and Technologies (LifeTech 2020)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] 可視動画像を併用した熱動画像における顔検出法に関する検討2020

    • Author(s)
      山田 真奈, 景山 陽一
    • Organizer
      令和元年度 日本知能情報ファジィ学会 東北支部研究会
    • Related Report
      2019 Research-status Report
  • [Presentation] 熱動画像を対象とした汎用的な顔領域検出と情動喚起時の皮膚温度解析2020

    • Author(s)
      山田 真奈, 景山 陽一
    • Organizer
      第15回日本感性工学会春季大会
    • Related Report
      2019 Research-status Report
  • [Presentation] Study on the Number of Calculations and Number of Blinks when Performing Uchida-Kraepelin Psychodiagnostic Test2019

    • Author(s)
      Shunsuke Nakano, Yoichi Kageyama
    • Organizer
      The 7th International Conference on Intelligent Systems and Image Processing 2019
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] Improvement of Lip Extraction Method Using Interpolation Method2019

    • Author(s)
      Etsuro Nakamura, Tsuyoshi Takahashi, Yoichi Kageyama, Masaki Ishii, Makoto Nishida, Motonari Shirasu
    • Organizer
      The 7th International Conference on Intelligent Systems and Image Processing 2019
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] 内田クレペリン精神検査実施時における瞬き回数解析および瞬き検出手法の開発2019

    • Author(s)
      中野 隼輔, 景山 陽一
    • Organizer
      2019年度情報処理学会東北支部研究会
    • Related Report
      2019 Research-status Report
  • [Presentation] 全方位カメラを用いた発話者判別に関する基礎検討2019

    • Author(s)
      中村 悦郎, 景山 陽一, 白須 礎成
    • Organizer
      第62回自動制御連合講演会
    • Related Report
      2019 Research-status Report
  • [Presentation] 口唇における2次元座標データに基づく「喜び」の情動判別に関する基礎検討2019

    • Author(s)
      根本紗希, 景山 陽一
    • Organizer
      2019年度電気関係学会東北支部連合大会
    • Related Report
      2019 Research-status Report
  • [Presentation] 全方位カメラを用いた発話区間判別手法に関する基礎検討2019

    • Author(s)
      中村 悦郎, 景山 陽一, 白須 礎成
    • Organizer
      2019年度電気関係学会東北支部連合大会
    • Related Report
      2019 Research-status Report
  • [Presentation] 内田クレペリン精神検査実施時の計算解答数および瞬き回数に関する検討2019

    • Author(s)
      中野 隼輔, 景山 陽一
    • Organizer
      2019年度電気関係学会東北支部連合大会
    • Related Report
      2019 Research-status Report
  • [Book] 生体情報センシングと人の状態推定への応用(分担執筆;第3章第4節)2020

    • Author(s)
      景山 陽一, 中村 悦郎
    • Total Pages
      564
    • Publisher
      技術情報協会
    • ISBN
      9784861048005
    • Related Report
      2020 Research-status Report
  • [Remarks] 景山研究室ホームページ

    • URL

      http://adeos6.ie.akita-u.ac.jp/

    • Related Report
      2020 Research-status Report
  • [Remarks] 景山研究室ホームページ

    • URL

      http://adeos6.ie.akita-u.ac.jp/index.php

    • Related Report
      2019 Research-status Report

URL: 

Published: 2019-04-18   Modified: 2023-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi