Study of prediction of physical condition and feelings by the AI based on the change of lips movement, eye movement, and vital data
| Project/Area Number |
19K12902
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 90150:Medical assistive technology-related
|
|---|
| Research Institution | Tokai University |
|---|
Principal Investigator |
山田 光穗 東海大学, 情報通信学部, 教授 (60366086)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
星野 祐子 東海大学, 情報通信学部, 講師 (80435271)
|
|---|
| Project Period (FY) |
2019-04-01 – 2021-03-31
|
| Project Status |
Discontinued (Fiscal Year 2020)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2019: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | 体調 / 疲労 / 口唇動作 / 固視微動 / AI / 介護 / サポートベクトルマシン / ロジスッティク / ロジスッティク回帰 / 介護・看護支援 / 眼球運動 / 体調・感情予測 |
|---|
| Outline of Research at the Start |
これまで口唇動作により、発話認識、発話訓練、聴覚障害者の読唇補助、体調検出を行う研究、眼球運動の固視微動から脳の活性化状態を測定する研究に取り組んできた。
本研究ではこの研究を発展させ、医師や看護師、介護士が患者や被介護者との簡単な会話や表情から一目で体調を判断するように、心拍、体温などの生理データと口唇開口面積の変化、固視微動の標準偏差の変化などとその人の体調や心理状態を照合させたデータベースを構築し、AIを用いてこれらのパラメータから人の体調や心理状態を抽出することを目的とする。
即ち、看護師・介護士の負担を軽減し、患者、被介護者の体調を把握し、QOLの向上に資することを目的とする。
|
| Outline of Annual Research Achievements |
本研究課題は患者や被介護者との簡単な会話や表情から一目で体調を判断することにより、看護師・介護士の負担を軽減し、患者、被介護者の体調を把握し、QOL向上に資することを目的とする。心拍、体温などの生理データと口唇動作、固視微動などから人の体調や心理状態を照合させたデータベースを構築し、AIを用いてこれらのパラメータから人の体調や心理状態を抽出する。
1年目は学習に必要なデータセットの作成とAI学習システムの構築を行った。疲労課題を用いて実験を行い、疲労を示すCritical Fusion Frequency (CFF)の変化と呼応し、口唇の開口面積、発話時間に変化が見られること、さらに学習により予測できることを示した。
2年目は口唇動作に加え、眼球運動、バイタルデータから人の体調や感情の抽出を目的として研究を行った。疲労と反対に近い感情である癒やし効果に注目した。癒やし効果をもたらす要因として超高精細映像の視聴に注目し、超高精細映像が心拍数と呼吸数を安静状態と同じように落ち着いた変動にさせ、皮膚温度を上昇させ、副交感神経優位な状態にすることを示唆した。分散分析により心拍数に映像の種類と解像度の種類との交互作用、呼吸数と皮膚温度では、映像の種類に対して効果を示した。さらに眼球運動予測に取り組んだ。絵画鑑賞時の眼球運動を測定し顕著性マップによる注視点予測の精度向上手法を提案した。
患者、被介護者の体調把握には、自然な対話ができるロボットの開発が必要である。人型ロボットにヨガを指導させ、ヨガ前後での呼吸と心拍数からリラックス効果が得られることを示した。また発話時に口唇動作と視線移動が可能なぬいぐるみを開発し、高齢者による評価実験を行い、特に親しみやすさが向上することを示した。
以上に述べたように、AIによる体調・感情予測とこれを具体化するためのロボット開発に研究実績をあげることができた。
|
Report
(2 results)
Research Products
(31 results)
