• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

口唇動作、眼球運動、バイタルデータの変化に基づいたAIによる体調・感情予測の研究

研究課題

研究課題/領域番号 19K12902
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分90150:医療福祉工学関連
研究機関東海大学

研究代表者

山田 光穗  東海大学, 情報通信学部, 教授 (60366086)

研究分担者 星野 祐子  東海大学, 情報通信学部, 講師 (80435271)
研究期間 (年度) 2019-04-01 – 2021-03-31
研究課題ステータス 中途終了 (2020年度)
配分額 *注記
4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
2021年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2020年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2019年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
キーワード体調 / 疲労 / 口唇動作 / 固視微動 / AI / 介護 / サポートベクトルマシン / ロジスッティク / ロジスッティク回帰 / 介護・看護支援 / 眼球運動 / 体調・感情予測
研究開始時の研究の概要

これまで口唇動作により、発話認識、発話訓練、聴覚障害者の読唇補助、体調検出を行う研究、眼球運動の固視微動から脳の活性化状態を測定する研究に取り組んできた。
本研究ではこの研究を発展させ、医師や看護師、介護士が患者や被介護者との簡単な会話や表情から一目で体調を判断するように、心拍、体温などの生理データと口唇開口面積の変化、固視微動の標準偏差の変化などとその人の体調や心理状態を照合させたデータベースを構築し、AIを用いてこれらのパラメータから人の体調や心理状態を抽出することを目的とする。
即ち、看護師・介護士の負担を軽減し、患者、被介護者の体調を把握し、QOLの向上に資することを目的とする。

研究実績の概要

本研究課題は患者や被介護者との簡単な会話や表情から一目で体調を判断することにより、看護師・介護士の負担を軽減し、患者、被介護者の体調を把握し、QOL向上に資することを目的とする。心拍、体温などの生理データと口唇動作、固視微動などから人の体調や心理状態を照合させたデータベースを構築し、AIを用いてこれらのパラメータから人の体調や心理状態を抽出する。
1年目は学習に必要なデータセットの作成とAI学習システムの構築を行った。疲労課題を用いて実験を行い、疲労を示すCritical Fusion Frequency (CFF)の変化と呼応し、口唇の開口面積、発話時間に変化が見られること、さらに学習により予測できることを示した。
2年目は口唇動作に加え、眼球運動、バイタルデータから人の体調や感情の抽出を目的として研究を行った。疲労と反対に近い感情である癒やし効果に注目した。癒やし効果をもたらす要因として超高精細映像の視聴に注目し、超高精細映像が心拍数と呼吸数を安静状態と同じように落ち着いた変動にさせ、皮膚温度を上昇させ、副交感神経優位な状態にすることを示唆した。分散分析により心拍数に映像の種類と解像度の種類との交互作用、呼吸数と皮膚温度では、映像の種類に対して効果を示した。さらに眼球運動予測に取り組んだ。絵画鑑賞時の眼球運動を測定し顕著性マップによる注視点予測の精度向上手法を提案した。
患者、被介護者の体調把握には、自然な対話ができるロボットの開発が必要である。人型ロボットにヨガを指導させ、ヨガ前後での呼吸と心拍数からリラックス効果が得られることを示した。また発話時に口唇動作と視線移動が可能なぬいぐるみを開発し、高齢者による評価実験を行い、特に親しみやすさが向上することを示した。
以上に述べたように、AIによる体調・感情予測とこれを具体化するためのロボット開発に研究実績をあげることができた。

報告書

(2件)
  • 2020 実績報告書
  • 2019 実施状況報告書
  • 研究成果

    (31件)

すべて 2021 2020 2019

すべて 雑誌論文 (6件) (うち査読あり 6件、 オープンアクセス 4件) 学会発表 (25件) (うち国際学会 9件)

  • [雑誌論文] 絵画鑑賞時の注視点分布のデータベース作成2021

    • 著者名/発表者名
      野坂祐介,猿樂拓也,石井英里子,星野祐子,山田光穗
    • 雑誌名

      パーソナルコンピュータ利用技術学会論文誌

      巻: 15 ページ: 21-31

    • NAID

      130008006111

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Analysis of Gaze Points When Looking at Paintings and Saliency Map to Improve the Accuracy of ROI (Region of Interest)2020

    • 著者名/発表者名
      Yusuke Nosaka, Yuko Hoshino, Mitsuho Yamada
    • 雑誌名

      SenSys'20:Proceeidngs of the 18th Conference on Embedded Networked Sensor System

      巻: 20 ページ: 599-600

    • DOI

      10.1145/3384419.3430423

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Analysis of Healing Effects Caused by Changes in Display Resolution Using Biosensors2020

    • 著者名/発表者名
      Miho SHINOHARA, Yuko Hoshino, Mitsuho Yamada
    • 雑誌名

      SenSys'20:Proceeidngs of the 18th Conference on Embedded Networked Sensor System

      巻: 9 ページ: 661-662

    • DOI

      10.1145/3384419.3430413

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] The Humanoid Robot/Camera System for Teaching YOGA Exercise Motions2020

    • 著者名/発表者名
      Tsanming Ou, Haruka Ohsuga, Tomoki Miyamoto, Yuko Hoshino, Mitsuho Yamada
    • 雑誌名

      GCCE2020

      巻: 9 ページ: 541-545

    • DOI

      10.1109/gcce50665.2020.9292075

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] Development of an Interactive Robot for More Natural Communication2020

    • 著者名/発表者名
      Tomoki Miyamoto; Mitsuho Yamada; Tsanming Ou; Yuko Hoshino
    • 雑誌名

      GCCE2020

      巻: 9 ページ: 813-816

    • DOI

      10.1109/gcce50665.2020.9291842

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] 機械学習を用いた口唇動作による精神疲労推定手法2020

    • 著者名/発表者名
      黒澤 勇樹, 篠原 未歩, 望月 信也, 星野 祐子, 山田 光穗
    • 雑誌名

      パーソナルコンピュータ利用技術学会論文誌

      巻: 14 号: 1 ページ: 22-28

    • DOI

      10.24663/jjpcats.14.1_22

    • NAID

      130007812432

    • ISSN
      1881-7998, 2433-7455
    • 関連する報告書
      2019 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] 絵画鑑賞時の注視点分布と絵画のフォーカルポイントとの比較2020

    • 著者名/発表者名
      野坂祐介,猿樂拓也,星野 祐子,山田 光穗
    • 学会等名
      FIT2020(第19 回情報科学技術フォーラム)
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 絵画鑑賞時の注視点データベースの提案と顕著性マップとの比較2020

    • 著者名/発表者名
      野坂祐介,石井英里子,星野 祐子,山田 光穗
    • 学会等名
      信学技報
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 高色域・高輝度の画像が生体信号に及ぼす癒やし効果の検討2020

    • 著者名/発表者名
      篠原 未歩,谷村龍一,高柳和之、石井英里子,星野 祐子,山田 光穗
    • 学会等名
      信学技報
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 絵画のフォーカルポイントに基づいた絵画鑑賞時の注視点分布と顕著性マップの一致度についての考察2020

    • 著者名/発表者名
      野坂祐介,猿樂拓也,星野 祐子,山田 光穗
    • 学会等名
      映像情報メディア学会創立70周年記念大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 高精細映像視聴時の生体信号による癒やし効果の分析2020

    • 著者名/発表者名
      篠原 未歩,星野 祐子,山田 光穗
    • 学会等名
      映像情報メディア学会創立70周年記念大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] ロボットと深度センサーを用いた運動支援システムの提案2020

    • 著者名/発表者名
      歐サン銘、大須賀悠、宮元友紀、星野祐子、山田光穗
    • 学会等名
      FIT2020(第19 回情報科学技術フォーラム)
    • 関連する報告書
      2020 実績報告書
  • [学会発表] より自然なコミュニケーションを取れる対話型ロボットの開発2020

    • 著者名/発表者名
      宮元友紀,歐サン銘,黒澤勇樹,山田光穗,星野祐子
    • 学会等名
      FIT2020(第19回情報科学技術フォーラム)
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 自然なコミュニケーションを取ることを目指したロボットの開発2020

    • 著者名/発表者名
      宮元友紀,歐サン銘 ,山田光穗,星野祐子
    • 学会等名
      第15回パーソナルコンピュータ利用技術学会全国大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] DEVELOPMENT OF A CO-VIEWING ROBOT THAT COMBINES MULTIPLE DISPLAYS FOR CONVERSATION WITH VIEWERS2020

    • 著者名/発表者名
      Tomoki Miyamoto, Yuki Kurosawa, Tsanming Ou, Yuko Hoshino, Mitsuho Yamada
    • 学会等名
      The Tenth International Workshop on Image Media Quality and its Applications, IMQA2020
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] MACHINE LEARNING ANALYSIS OF FATIGUE BASED ON LIP MOVEMENT2020

    • 著者名/発表者名
      Yuki Kurosawa, Miho Shinohara, Shinya Mochiduki, Yuko Hoshino, Mitsuho Yamada
    • 学会等名
      The Tenth International Workshop on Image Media Quality and its Applications, IMQA2020
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] ANALYSIS OF HEALING EFFECTS PROVIDED BY 4K-RESOLUTION IMAGES2020

    • 著者名/発表者名
      Miho Shinohara, Yuki Kurosawa, Takahide Otomo, Shinya Mochiduki,Yuko Hoshino, Mitsuho Yamada
    • 学会等名
      The Tenth International Workshop on Image Media Quality and its Applications, IMQA2020
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] DEVELOPMENT OF INTERACTION SYSTEM FOR SUPPORTING WEB BROWSING USING USER'S GAZE2020

    • 著者名/発表者名
      Takahide Otomo,Shinya Mochiduki,Eriko Ishii,Yuko Hoshino,Mitsuho Yamada
    • 学会等名
      The Tenth International Workshop on Image Media Quality and its Applications, IMQA2020
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Comparison for Gaze Point and Saliency Map When Looking at Painting2020

    • 著者名/発表者名
      Yusuke Nosaka, Takuya Sarugaku,Shinya Mochiduki, Yuko Hoshino, Mitsuho Yamada
    • 学会等名
      The Tenth International Workshop on Image Media Quality and its Applications, IMQA2020
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] eal time fatigue evaluation with standard deviation of the gaze point during calculation task2019

    • 著者名/発表者名
      Yuki Kurosawa、Shinya Mochiduki、Yuko Hoshino、Mitsuho Yamada
    • 学会等名
      APCV2019
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] A Mental Fatigue Measurement System based on Face Images2019

    • 著者名/発表者名
      Yuki Kurosawa、Miho Shinohara、Shinya Mochiduki、Yuko Hoshino、Mitsho Yamada
    • 学会等名
      IDW'19
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Fatigue estimation in the calculation task based on eye movements and lip movements2019

    • 著者名/発表者名
      Yuki Kurosawa、Miho Shinohara、Shinya Mochiduki、Yuko Hoshino、Mitsuho Yamada
    • 学会等名
      Annual Conference on Engineering and Applied Science, ACEAT
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Proposal of the Interactive Robot' Eyes to Realize Eye Contact Between Human and a Robot2019

    • 著者名/発表者名
      Tomoki Miyamoto, Yuki Kurosawa, Tsanming Ou, Yuko Hoshino, Mitsuho Yamada
    • 学会等名
      2019 IEEE 8th Global Conference on Consumer Electronics (GCCE)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] 高精細映像が人にもたらす癒やし効果の分析2019

    • 著者名/発表者名
      篠原未歩、黒澤勇樹、大友隆秀、望月信哉、山田光穗
    • 学会等名
      2019年映像情報メディア学会年次大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 解像度の違いが人にもたらす癒やし効果の分析2019

    • 著者名/発表者名
      篠原未歩、黒澤勇樹、大友隆秀、望月信哉、星野祐子、山田光穗
    • 学会等名
      映像情報メディア学会 冬季大会 2019
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] パーソナルカラー診断とディープラーニングを用いたコーディネートサポートアプリケーションの提案2019

    • 著者名/発表者名
      荒川晴香、山田光穗、星野祐子
    • 学会等名
      第14回パーソナルコンピュータ利用技術学会全国大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] Webページの閲覧をサポートする視線インタラクションの検討2019

    • 著者名/発表者名
      大友隆秀、望月信哉、石井英里子、星野祐子、山田光穗
    • 学会等名
      第14回パーソナルコンピュータ利用技術学会全国大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 映像視聴時における4K解像度が人にもたらす癒やし効果の分析2019

    • 著者名/発表者名
      篠原未歩、黒澤勇樹、大友隆秀、望月信哉、星野祐子、山田光穗
    • 学会等名
      第14回パーソナルコンピュータ利用技術学会全国大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 絵画鑑賞時の注視点分布のデータベースの提案と顕著性マップの比較2019

    • 著者名/発表者名
      野坂祐介、黒澤勇樹、猿樂拓也、望月信哉、星野祐子、山田光穗
    • 学会等名
      第14回パーソナルコンピュータ利用技術学会全国大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 絵画鑑賞時の注視点分布と顕著性マップの比較2019

    • 著者名/発表者名
      野坂祐介、猿樂拓也、望月信哉、星野祐子、山田光穗
    • 学会等名
      2019年映像情報メディア学会冬季大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 眼球と口唇動作に基づく精神疲労評価の検討2019

    • 著者名/発表者名
      黒澤勇樹、篠原未歩、望月信哉、星野祐子、山田光穗
    • 学会等名
      2019年映像情報メディア学会年次大会
    • 関連する報告書
      2019 実施状況報告書

URL: 

公開日: 2019-04-18   更新日: 2021-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi