• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Study of prediction of physical condition and feelings by the AI based on the change of lips movement, eye movement, and vital data

Research Project

Project/Area Number 19K12902
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 90150:Medical assistive technology-related
Research InstitutionTokai University

Principal Investigator

山田 光穗  東海大学, 情報通信学部, 教授 (60366086)

Co-Investigator(Kenkyū-buntansha) 星野 祐子  東海大学, 情報通信学部, 講師 (80435271)
Project Period (FY) 2019-04-01 – 2021-03-31
Project Status Discontinued (Fiscal Year 2020)
Budget Amount *help
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2019: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Keywords体調 / 疲労 / 口唇動作 / 固視微動 / AI / 介護 / サポートベクトルマシン / ロジスッティク / ロジスッティク回帰 / 介護・看護支援 / 眼球運動 / 体調・感情予測
Outline of Research at the Start

これまで口唇動作により、発話認識、発話訓練、聴覚障害者の読唇補助、体調検出を行う研究、眼球運動の固視微動から脳の活性化状態を測定する研究に取り組んできた。
本研究ではこの研究を発展させ、医師や看護師、介護士が患者や被介護者との簡単な会話や表情から一目で体調を判断するように、心拍、体温などの生理データと口唇開口面積の変化、固視微動の標準偏差の変化などとその人の体調や心理状態を照合させたデータベースを構築し、AIを用いてこれらのパラメータから人の体調や心理状態を抽出することを目的とする。
即ち、看護師・介護士の負担を軽減し、患者、被介護者の体調を把握し、QOLの向上に資することを目的とする。

Outline of Annual Research Achievements

本研究課題は患者や被介護者との簡単な会話や表情から一目で体調を判断することにより、看護師・介護士の負担を軽減し、患者、被介護者の体調を把握し、QOL向上に資することを目的とする。心拍、体温などの生理データと口唇動作、固視微動などから人の体調や心理状態を照合させたデータベースを構築し、AIを用いてこれらのパラメータから人の体調や心理状態を抽出する。
1年目は学習に必要なデータセットの作成とAI学習システムの構築を行った。疲労課題を用いて実験を行い、疲労を示すCritical Fusion Frequency (CFF)の変化と呼応し、口唇の開口面積、発話時間に変化が見られること、さらに学習により予測できることを示した。
2年目は口唇動作に加え、眼球運動、バイタルデータから人の体調や感情の抽出を目的として研究を行った。疲労と反対に近い感情である癒やし効果に注目した。癒やし効果をもたらす要因として超高精細映像の視聴に注目し、超高精細映像が心拍数と呼吸数を安静状態と同じように落ち着いた変動にさせ、皮膚温度を上昇させ、副交感神経優位な状態にすることを示唆した。分散分析により心拍数に映像の種類と解像度の種類との交互作用、呼吸数と皮膚温度では、映像の種類に対して効果を示した。さらに眼球運動予測に取り組んだ。絵画鑑賞時の眼球運動を測定し顕著性マップによる注視点予測の精度向上手法を提案した。
患者、被介護者の体調把握には、自然な対話ができるロボットの開発が必要である。人型ロボットにヨガを指導させ、ヨガ前後での呼吸と心拍数からリラックス効果が得られることを示した。また発話時に口唇動作と視線移動が可能なぬいぐるみを開発し、高齢者による評価実験を行い、特に親しみやすさが向上することを示した。
以上に述べたように、AIによる体調・感情予測とこれを具体化するためのロボット開発に研究実績をあげることができた。

Report

(2 results)
  • 2020 Annual Research Report
  • 2019 Research-status Report
  • Research Products

    (31 results)

All 2021 2020 2019

All Journal Article (6 results) (of which Peer Reviewed: 6 results,  Open Access: 4 results) Presentation (25 results) (of which Int'l Joint Research: 9 results)

  • [Journal Article] 絵画鑑賞時の注視点分布のデータベース作成2021

    • Author(s)
      野坂祐介,猿樂拓也,石井英里子,星野祐子,山田光穗
    • Journal Title

      パーソナルコンピュータ利用技術学会論文誌

      Volume: 15 Pages: 21-31

    • NAID

      130008006111

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Analysis of Gaze Points When Looking at Paintings and Saliency Map to Improve the Accuracy of ROI (Region of Interest)2020

    • Author(s)
      Yusuke Nosaka, Yuko Hoshino, Mitsuho Yamada
    • Journal Title

      SenSys'20:Proceeidngs of the 18th Conference on Embedded Networked Sensor System

      Volume: 20 Pages: 599-600

    • DOI

      10.1145/3384419.3430423

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Analysis of Healing Effects Caused by Changes in Display Resolution Using Biosensors2020

    • Author(s)
      Miho SHINOHARA, Yuko Hoshino, Mitsuho Yamada
    • Journal Title

      SenSys'20:Proceeidngs of the 18th Conference on Embedded Networked Sensor System

      Volume: 9 Pages: 661-662

    • DOI

      10.1145/3384419.3430413

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] The Humanoid Robot/Camera System for Teaching YOGA Exercise Motions2020

    • Author(s)
      Tsanming Ou, Haruka Ohsuga, Tomoki Miyamoto, Yuko Hoshino, Mitsuho Yamada
    • Journal Title

      GCCE2020

      Volume: 9 Pages: 541-545

    • DOI

      10.1109/gcce50665.2020.9292075

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Development of an Interactive Robot for More Natural Communication2020

    • Author(s)
      Tomoki Miyamoto; Mitsuho Yamada; Tsanming Ou; Yuko Hoshino
    • Journal Title

      GCCE2020

      Volume: 9 Pages: 813-816

    • DOI

      10.1109/gcce50665.2020.9291842

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Mental Fatigue Estimation Method by Lip Movement Using Machine Learning2020

    • Author(s)
      黒澤 勇樹, 篠原 未歩, 望月 信也, 星野 祐子, 山田 光穗
    • Journal Title

      Journal of the Japan Personal Computer Application Technology Society

      Volume: 14 Issue: 1 Pages: 22-28

    • DOI

      10.24663/jjpcats.14.1_22

    • NAID

      130007812432

    • ISSN
      1881-7998, 2433-7455
    • Related Report
      2019 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] 絵画鑑賞時の注視点分布と絵画のフォーカルポイントとの比較2020

    • Author(s)
      野坂祐介,猿樂拓也,星野 祐子,山田 光穗
    • Organizer
      FIT2020(第19 回情報科学技術フォーラム)
    • Related Report
      2020 Annual Research Report
  • [Presentation] 絵画鑑賞時の注視点データベースの提案と顕著性マップとの比較2020

    • Author(s)
      野坂祐介,石井英里子,星野 祐子,山田 光穗
    • Organizer
      信学技報
    • Related Report
      2020 Annual Research Report
  • [Presentation] 高色域・高輝度の画像が生体信号に及ぼす癒やし効果の検討2020

    • Author(s)
      篠原 未歩,谷村龍一,高柳和之、石井英里子,星野 祐子,山田 光穗
    • Organizer
      信学技報
    • Related Report
      2020 Annual Research Report
  • [Presentation] 絵画のフォーカルポイントに基づいた絵画鑑賞時の注視点分布と顕著性マップの一致度についての考察2020

    • Author(s)
      野坂祐介,猿樂拓也,星野 祐子,山田 光穗
    • Organizer
      映像情報メディア学会創立70周年記念大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 高精細映像視聴時の生体信号による癒やし効果の分析2020

    • Author(s)
      篠原 未歩,星野 祐子,山田 光穗
    • Organizer
      映像情報メディア学会創立70周年記念大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] ロボットと深度センサーを用いた運動支援システムの提案2020

    • Author(s)
      歐サン銘、大須賀悠、宮元友紀、星野祐子、山田光穗
    • Organizer
      FIT2020(第19 回情報科学技術フォーラム)
    • Related Report
      2020 Annual Research Report
  • [Presentation] より自然なコミュニケーションを取れる対話型ロボットの開発2020

    • Author(s)
      宮元友紀,歐サン銘,黒澤勇樹,山田光穗,星野祐子
    • Organizer
      FIT2020(第19回情報科学技術フォーラム)
    • Related Report
      2020 Annual Research Report
  • [Presentation] 自然なコミュニケーションを取ることを目指したロボットの開発2020

    • Author(s)
      宮元友紀,歐サン銘 ,山田光穗,星野祐子
    • Organizer
      第15回パーソナルコンピュータ利用技術学会全国大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] DEVELOPMENT OF A CO-VIEWING ROBOT THAT COMBINES MULTIPLE DISPLAYS FOR CONVERSATION WITH VIEWERS2020

    • Author(s)
      Tomoki Miyamoto, Yuki Kurosawa, Tsanming Ou, Yuko Hoshino, Mitsuho Yamada
    • Organizer
      The Tenth International Workshop on Image Media Quality and its Applications, IMQA2020
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] MACHINE LEARNING ANALYSIS OF FATIGUE BASED ON LIP MOVEMENT2020

    • Author(s)
      Yuki Kurosawa, Miho Shinohara, Shinya Mochiduki, Yuko Hoshino, Mitsuho Yamada
    • Organizer
      The Tenth International Workshop on Image Media Quality and its Applications, IMQA2020
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] ANALYSIS OF HEALING EFFECTS PROVIDED BY 4K-RESOLUTION IMAGES2020

    • Author(s)
      Miho Shinohara, Yuki Kurosawa, Takahide Otomo, Shinya Mochiduki,Yuko Hoshino, Mitsuho Yamada
    • Organizer
      The Tenth International Workshop on Image Media Quality and its Applications, IMQA2020
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] DEVELOPMENT OF INTERACTION SYSTEM FOR SUPPORTING WEB BROWSING USING USER'S GAZE2020

    • Author(s)
      Takahide Otomo,Shinya Mochiduki,Eriko Ishii,Yuko Hoshino,Mitsuho Yamada
    • Organizer
      The Tenth International Workshop on Image Media Quality and its Applications, IMQA2020
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] Comparison for Gaze Point and Saliency Map When Looking at Painting2020

    • Author(s)
      Yusuke Nosaka, Takuya Sarugaku,Shinya Mochiduki, Yuko Hoshino, Mitsuho Yamada
    • Organizer
      The Tenth International Workshop on Image Media Quality and its Applications, IMQA2020
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] eal time fatigue evaluation with standard deviation of the gaze point during calculation task2019

    • Author(s)
      Yuki Kurosawa、Shinya Mochiduki、Yuko Hoshino、Mitsuho Yamada
    • Organizer
      APCV2019
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] A Mental Fatigue Measurement System based on Face Images2019

    • Author(s)
      Yuki Kurosawa、Miho Shinohara、Shinya Mochiduki、Yuko Hoshino、Mitsho Yamada
    • Organizer
      IDW'19
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] Fatigue estimation in the calculation task based on eye movements and lip movements2019

    • Author(s)
      Yuki Kurosawa、Miho Shinohara、Shinya Mochiduki、Yuko Hoshino、Mitsuho Yamada
    • Organizer
      Annual Conference on Engineering and Applied Science, ACEAT
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] Proposal of the Interactive Robot' Eyes to Realize Eye Contact Between Human and a Robot2019

    • Author(s)
      Tomoki Miyamoto, Yuki Kurosawa, Tsanming Ou, Yuko Hoshino, Mitsuho Yamada
    • Organizer
      2019 IEEE 8th Global Conference on Consumer Electronics (GCCE)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] 高精細映像が人にもたらす癒やし効果の分析2019

    • Author(s)
      篠原未歩、黒澤勇樹、大友隆秀、望月信哉、山田光穗
    • Organizer
      2019年映像情報メディア学会年次大会
    • Related Report
      2019 Research-status Report
  • [Presentation] 解像度の違いが人にもたらす癒やし効果の分析2019

    • Author(s)
      篠原未歩、黒澤勇樹、大友隆秀、望月信哉、星野祐子、山田光穗
    • Organizer
      映像情報メディア学会 冬季大会 2019
    • Related Report
      2019 Research-status Report
  • [Presentation] パーソナルカラー診断とディープラーニングを用いたコーディネートサポートアプリケーションの提案2019

    • Author(s)
      荒川晴香、山田光穗、星野祐子
    • Organizer
      第14回パーソナルコンピュータ利用技術学会全国大会
    • Related Report
      2019 Research-status Report
  • [Presentation] Webページの閲覧をサポートする視線インタラクションの検討2019

    • Author(s)
      大友隆秀、望月信哉、石井英里子、星野祐子、山田光穗
    • Organizer
      第14回パーソナルコンピュータ利用技術学会全国大会
    • Related Report
      2019 Research-status Report
  • [Presentation] 映像視聴時における4K解像度が人にもたらす癒やし効果の分析2019

    • Author(s)
      篠原未歩、黒澤勇樹、大友隆秀、望月信哉、星野祐子、山田光穗
    • Organizer
      第14回パーソナルコンピュータ利用技術学会全国大会
    • Related Report
      2019 Research-status Report
  • [Presentation] 絵画鑑賞時の注視点分布のデータベースの提案と顕著性マップの比較2019

    • Author(s)
      野坂祐介、黒澤勇樹、猿樂拓也、望月信哉、星野祐子、山田光穗
    • Organizer
      第14回パーソナルコンピュータ利用技術学会全国大会
    • Related Report
      2019 Research-status Report
  • [Presentation] 絵画鑑賞時の注視点分布と顕著性マップの比較2019

    • Author(s)
      野坂祐介、猿樂拓也、望月信哉、星野祐子、山田光穗
    • Organizer
      2019年映像情報メディア学会冬季大会
    • Related Report
      2019 Research-status Report
  • [Presentation] 眼球と口唇動作に基づく精神疲労評価の検討2019

    • Author(s)
      黒澤勇樹、篠原未歩、望月信哉、星野祐子、山田光穗
    • Organizer
      2019年映像情報メディア学会年次大会
    • Related Report
      2019 Research-status Report

URL: 

Published: 2019-04-18   Modified: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi