• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

コミュニケーション支援を目的とした発話時の非接触情報による心情・体調変化の推定

研究課題

研究課題/領域番号 19K12909
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分90150:医療福祉工学関連
研究機関秋田大学

研究代表者

景山 陽一  秋田大学, 理工学研究科, 教授 (40292362)

研究期間 (年度) 2019-04-01 – 2022-03-31
研究課題ステータス 完了 (2021年度)
配分額 *注記
4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2021年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2020年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2019年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
キーワード非接触情報 / 心情変化 / 体調変化 / コミュニケーション支援 / 口唇の動き / 顔情報 / 熱赤外画像 / 機械学習 / 表情 / 口唇の動き特徴 / 自然表情 / 心情・体調変化 / センシング / 画像処理
研究開始時の研究の概要

本研究では,コミュニケーション支援を目的とし,発話時に取得される口唇の動き・目の動き・顔温度・顔の各部位情報,並びに体動や脈拍などの非接触情報を併用して,対象者の内部状態である心情・体調変化を機械学習などの活用により認識する。本研究の成果は,発話者の特性を考慮して“喜びや退屈”などの心情変化と“定常状態やストレスなどで体調が悪い”などの体調変化を推定できるため,高齢者を対象とした見守り支援システムや感情理解を苦手とする人々へのコミュニケーション支援システムに活用することが可能である。

研究成果の概要

コミュニケーション支援を目的とした非接触情報による心情・体調変化の推定を行うため,発話画像データを対象とし,①発話区間抽出手法,②発話者判別手法,ならびに③発話内容推定手法を提案した。また,追加学習機能を有する表情認識モデルを構築しその有用性を評価するとともに,表情の違いや,故意表情と自然表情の違いを理解するため,顔の温度変化を解析した。さらに,高齢者がレースゲームをプレイするデータを解析したところ,「喜び」の情動が喚起された場合,相対彩度割合は増加する傾向があることが明らかになった。加えて,瞬き検出法の開発や骨格座標データを用いた情動喚起に伴う顔と体の特徴的な動きの解析を行った。

研究成果の学術的意義や社会的意義

新型コロナウイルスの影響を受け,私たちのコミュニケーション手段は大きく変化しオンラインで会議などを行う機会が増加した。また,情報の共有は容易になったものの,共感の共有は必ずしも容易ではない。本研究では,非接触情報を用いて心情・体調変化の推定を行い,コミュニケーションの支援を行うことを目的としており,検討内容は今後の情報社会において不可欠な技術・知見である。また,社会実装に向けた知見も多く得られている。さらに,高齢者を対象とした検討を行い,被験者の特徴を考慮したアルゴリズムの開発を行っている。このことは,一人ひとりの多様な幸せ(well-being)を実現する社会の構築に寄与するものである。

報告書

(4件)
  • 2021 実績報告書   研究成果報告書 ( PDF )
  • 2020 実施状況報告書
  • 2019 実施状況報告書
  • 研究成果

    (54件)

すべて 2022 2021 2020 2019 その他

すべて 雑誌論文 (3件) (うち査読あり 3件、 オープンアクセス 1件) 学会発表 (48件) (うち国際学会 10件) 図書 (1件) 備考 (2件)

  • [雑誌論文] LSTM-based Japanese Speaker Identification Using an Omnidirectional Camera and Voice Information2022

    • 著者名/発表者名
      E. Nakamura, Y. Kageyama, S. Hirose
    • 雑誌名

      IEEJ Transactions on Electrical and Electronic Engineering

      巻: 17 号: 5 ページ: 674-684

    • DOI

      10.1002/tee.23555

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Japanese Syllable Estimation using Lip and Chin Movements2022

    • 著者名/発表者名
      E. Nakamura, Y. Honda, Y. Kageyama, S. Hirose
    • 雑誌名

      IEEJ Transactions on Electrical and Electronic Engineering

      巻: 17

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Study into Relationship between Uchida-Kraepelin Psychodiagnostic Test Results and Number of Blinks2020

    • 著者名/発表者名
      S. Nakano, Y. Kageyama
    • 雑誌名

      Journal of the Institute of Industrial Applications Engineers

      巻: 8 号: 3 ページ: 89-94

    • DOI

      10.12792/jiiae.8.89

    • NAID

      40022604552

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] Facial Feature Points for Japanese Speech Content Estimation2022

    • 著者名/発表者名
      E. Nakamura, Y. Honda, Y. Kageyama, S. Hirose
    • 学会等名
      The 2022 IEEE 4th Global Conference on Life Sciences and Technologies (LifeTech 2022)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] 映像視聴時における情動と骨格座標を用いた体動との関連性に関する基礎検討2022

    • 著者名/発表者名
      沢田 玲奈, 景山 陽一, 石沢 千佳子
    • 学会等名
      令和3年度日本知能情報ファジィ学会東北支部研究会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 非集中(退屈)状態の推定を目的とした皮膚温度の変化に関する基礎検討2022

    • 著者名/発表者名
      田中 太郎, 石沢 千佳子, 景山 陽一
    • 学会等名
      令和3年度日本知能情報ファジィ学会東北支部研究会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 高齢者を対象とするeスポーツ実施時の瞬き検出手法の開発2022

    • 著者名/発表者名
      梅北 空良, 景山 陽一, 末廣 健二, 高橋 伸明, 佐竹 久美, 小林 拓也, 渡邉 文人, 佐藤 直子
    • 学会等名
      令和3年度日本知能情報ファジィ学会東北支部研究会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 故意表情および自然表情を対象とした顔表面温度の比較2022

    • 著者名/発表者名
      山田 真奈, 景山 陽一
    • 学会等名
      情報処理学会第84回全国大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 高齢者を対象とするeスポーツ実施時の顔面皮膚温度解析2022

    • 著者名/発表者名
      三浦 有沙子, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 佐竹 久美, 小林 拓也, 渡邉 文人, 佐藤 直子
    • 学会等名
      情報処理学会第84回全国大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 表情認識の精度向上を目的とした適応学習法に関する検討2022

    • 著者名/発表者名
      高松 未佳, 石井 雅樹, 景山 陽一
    • 学会等名
      情報処理学会第84回全国大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 高齢者を対象とするeスポーツ実施時の顔色解析2022

    • 著者名/発表者名
      菊池 亮太, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 佐竹 久美, 小林 拓也, 渡邉 文人, 佐藤 直子
    • 学会等名
      情報処理学会第84回全国大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] CNN-LSTMを用いた顔画像による発話内容推定に関する基礎検討2022

    • 著者名/発表者名
      本田 悠将, 中村 悦郎, 景山 陽一, 廣瀬 聡
    • 学会等名
      情報処理学会第84回全国大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Application of Speech Section Extraction Method Using Lip and Voice2021

    • 著者名/発表者名
      E. Nakamura, Y. Kageyama, S. Hirose
    • 学会等名
      The Ninth International Conference on Materials Engineering for Resources
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] 表情認識精度向上のための追加学習処理に関する検討2021

    • 著者名/発表者名
      高松 未佳, 石井 雅樹, 景山 陽一
    • 学会等名
      映像情報メディア学会 2021年冬季大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] CNN-LSTMを用いた発話内容推定に関する基礎検討2021

    • 著者名/発表者名
      本田 悠将, 中村 悦郎, 景山 陽一, 廣瀬 聡
    • 学会等名
      映像情報メディア学会 2021年冬季大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 発話に伴う口唇特徴点の動きと音素との関連性に関する解析2021

    • 著者名/発表者名
      中村 悦郎, 本田 悠将, 景山 陽一, 廣瀬 聡
    • 学会等名
      映像情報メディア学会 2021年冬季大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 喜びの表情を対象とした顔表面温度解析2021

    • 著者名/発表者名
      山田 真奈, 景山 陽一
    • 学会等名
      2021年度 情報処理学会東北支部研究会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 口唇の動きおよび色情報を用いた発話内容推定に関する検討2021

    • 著者名/発表者名
      本田 悠将, 中村 悦郎, 景山 陽一, 廣瀬 聡
    • 学会等名
      第37回 ファジィ システム シンポジウム
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 発話内容の判別を目的とした口唇の動きの変化解析2021

    • 著者名/発表者名
      中村 悦郎, 本田 悠将, 景山 陽一, 廣瀬 聡
    • 学会等名
      第37回 ファジィ システム シンポジウム
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 高齢者を対象とするeスポーツ実施前後の顔熱赤外画像を用いた皮膚温度変化解析2021

    • 著者名/発表者名
      三浦 有沙子, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 佐竹 久美, 小林 拓也, 渡邉 文人, 佐藤 直子, 熊谷 直史
    • 学会等名
      第37回 ファジィ システム シンポジウム
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 高齢者を対象とするeスポーツ実施中における顔色情報の特徴解析2021

    • 著者名/発表者名
      菊地 亮太, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 佐竹 久美, 小林 拓也, 渡邉 文人, 佐藤 直子, 熊谷 直史
    • 学会等名
      第37回 ファジィ システム シンポジウム
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 表情認識の精度向上を目的とした学習データの分析2021

    • 著者名/発表者名
      高松 未佳, 石井 雅樹, 景山 陽一
    • 学会等名
      第37回 ファジィ システム シンポジウム
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 故意および自然表情の顔表面温度に関する基礎解析2021

    • 著者名/発表者名
      山田 真奈, 景山 陽一
    • 学会等名
      2021年度電気関係学会東北支部連合大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 全方位カメラを用いた発話者判別手法における音声特徴量に関する検討2021

    • 著者名/発表者名
      中村 悦郎, 景山 陽一, 廣瀬 聡
    • 学会等名
      2021年度電気関係学会東北支部連合大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 自然表情を対象とした顔表面温度に関する基礎解析2021

    • 著者名/発表者名
      山田 真奈, 景山 陽一
    • 学会等名
      日本素材物性学会令和3年度年会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Speech Section Extraction Method Using Image and Voice Information2021

    • 著者名/発表者名
      E. Nakamura, Y. Kageyama, S. Hirose
    • 学会等名
      The 9th IIAE International Conference on Industrial Application Engineering 2021
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] Face Detection and Analysis of Relationship between Degree of Emotion Arousal and Facial Temperature2021

    • 著者名/発表者名
      M. Yamada, Y. Kageyama
    • 学会等名
      The 9th IIAE International Conference on Industrial Application Engineering 2021
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] 画像情報と音声情報を用いた発話者判別手法における汎用性に関する検討2021

    • 著者名/発表者名
      中村 悦郎, 景山 陽一, 廣瀬 聡
    • 学会等名
      情報処理学会第83回全国大会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] LSTMを用いた口唇画像による発話内容推定に関する基礎検討2021

    • 著者名/発表者名
      本田 悠将, 中村 悦郎, 景山 陽一, 廣瀬 聡
    • 学会等名
      令和2年度日本知能情報ファジィ学会東北支部研究会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 高齢者を対象とするeスポーツ実施時の顔熱赤外画像と感情の関連に関する検討2021

    • 著者名/発表者名
      三浦 有沙子, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 佐竹 久美, 小林 拓也, 佐藤 雄介, 佐藤 直子, 熊谷 直史
    • 学会等名
      令和2年度日本知能情報ファジィ学会東北支部研究会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 高齢者を対象とするeスポーツ実施時の感情・関心推定法に関する基礎検討2021

    • 著者名/発表者名
      菊地 亮太, 景山 陽一, 白井 光, 石沢 千佳子, 末廣 健二, 高橋 伸明, 佐竹 久美, 小林 拓也, 佐藤 雄介, 佐藤 直子, 熊谷 直史
    • 学会等名
      令和2年度日本知能情報ファジィ学会東北支部研究会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] Fuzzy-ARTを用いた表情認識モデルにおける警戒パラメータに関する検討2021

    • 著者名/発表者名
      高松 未佳, 石井 雅樹, 景山 陽一
    • 学会等名
      令和2年度日本知能情報ファジィ学会東北支部研究会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] A Study on Feature Values as a Speaker Identification Method2020

    • 著者名/発表者名
      E. Nakamura, Y. Kageyama, M. Shirasu
    • 学会等名
      Joint 11th International Conference on Soft Computing and Intelligent Systems and 21st International Symposium on Advanced Intelligent Systems (SCIS&ISIS2020)
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] 情動の強度と顔表面温度との関連性に関する検討2020

    • 著者名/発表者名
      山田 真奈, 景山 陽一
    • 学会等名
      映像情報メディア学会 創立70周年記念大会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 画像情報と音声情報を用いた発話区間自動抽出手法2020

    • 著者名/発表者名
      中村 悦郎, 景山 陽一, 白須 礎成
    • 学会等名
      映像情報メディア学会 創立70周年記念大会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 人物とカメラ間距離の変動を考慮した全方位カメラによる発話区間抽出法2020

    • 著者名/発表者名
      中村 悦郎, 景山 陽一, 白須 礎成
    • 学会等名
      第63回 自動制御連合講演会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 熱動画像における情動喚起時の顔表面温度解析2020

    • 著者名/発表者名
      山田 真奈, 景山 陽一
    • 学会等名
      2020年度電気関係学会東北支部連合大会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 全方位カメラを用いた発話区間抽出手法の改善2020

    • 著者名/発表者名
      中村 悦郎, 景山 陽一, 白須 礎成
    • 学会等名
      2020年度電気関係学会東北支部連合大会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 全方位カメラを用いた発話者判別手法の機械学習モデルに関する検討2020

    • 著者名/発表者名
      中村 悦郎, 景山 陽一, 白須 礎成
    • 学会等名
      第23回 画像の認識・理解シンポジウム(MIRU2020)
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] Resetting Threshold Values for Improving Facial Expression Recognition Accuracy2020

    • 著者名/発表者名
      R. Kiyokawa, M. Ishii, Y. Kageyama
    • 学会等名
      The 2020 IEEE 2nd Global Conference on Life Sciences and Technologies (LifeTech 2020)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Identification of Utterance Content Using Lip Movement Features2020

    • 著者名/発表者名
      M. Tanaka, E. Nakamura, Y. Kageyama, M. Shirasu, M. Ishii, M. Nishida
    • 学会等名
      The 2020 IEEE 2nd Global Conference on Life Sciences and Technologies (LifeTech 2020)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Speaker Identification Method Using Facial Image and Voice2020

    • 著者名/発表者名
      E. Nakamura, Y. Kageyama, M. Shirasu
    • 学会等名
      The 2020 IEEE 2nd Global Conference on Life Sciences and Technologies (LifeTech 2020)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] 可視動画像を併用した熱動画像における顔検出法に関する検討2020

    • 著者名/発表者名
      山田 真奈, 景山 陽一
    • 学会等名
      令和元年度 日本知能情報ファジィ学会 東北支部研究会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 熱動画像を対象とした汎用的な顔領域検出と情動喚起時の皮膚温度解析2020

    • 著者名/発表者名
      山田 真奈, 景山 陽一
    • 学会等名
      第15回日本感性工学会春季大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] Study on the Number of Calculations and Number of Blinks when Performing Uchida-Kraepelin Psychodiagnostic Test2019

    • 著者名/発表者名
      Shunsuke Nakano, Yoichi Kageyama
    • 学会等名
      The 7th International Conference on Intelligent Systems and Image Processing 2019
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Improvement of Lip Extraction Method Using Interpolation Method2019

    • 著者名/発表者名
      Etsuro Nakamura, Tsuyoshi Takahashi, Yoichi Kageyama, Masaki Ishii, Makoto Nishida, Motonari Shirasu
    • 学会等名
      The 7th International Conference on Intelligent Systems and Image Processing 2019
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] 内田クレペリン精神検査実施時における瞬き回数解析および瞬き検出手法の開発2019

    • 著者名/発表者名
      中野 隼輔, 景山 陽一
    • 学会等名
      2019年度情報処理学会東北支部研究会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 全方位カメラを用いた発話者判別に関する基礎検討2019

    • 著者名/発表者名
      中村 悦郎, 景山 陽一, 白須 礎成
    • 学会等名
      第62回自動制御連合講演会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 口唇における2次元座標データに基づく「喜び」の情動判別に関する基礎検討2019

    • 著者名/発表者名
      根本紗希, 景山 陽一
    • 学会等名
      2019年度電気関係学会東北支部連合大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 全方位カメラを用いた発話区間判別手法に関する基礎検討2019

    • 著者名/発表者名
      中村 悦郎, 景山 陽一, 白須 礎成
    • 学会等名
      2019年度電気関係学会東北支部連合大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 内田クレペリン精神検査実施時の計算解答数および瞬き回数に関する検討2019

    • 著者名/発表者名
      中野 隼輔, 景山 陽一
    • 学会等名
      2019年度電気関係学会東北支部連合大会
    • 関連する報告書
      2019 実施状況報告書
  • [図書] 生体情報センシングと人の状態推定への応用(分担執筆;第3章第4節)2020

    • 著者名/発表者名
      景山 陽一, 中村 悦郎
    • 総ページ数
      564
    • 出版者
      技術情報協会
    • ISBN
      9784861048005
    • 関連する報告書
      2020 実施状況報告書
  • [備考] 景山研究室ホームページ

    • URL

      http://adeos6.ie.akita-u.ac.jp/

    • 関連する報告書
      2020 実施状況報告書
  • [備考] 景山研究室ホームページ

    • URL

      http://adeos6.ie.akita-u.ac.jp/index.php

    • 関連する報告書
      2019 実施状況報告書

URL: 

公開日: 2019-04-18   更新日: 2023-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi