2019 Fiscal Year Research-status Report
Study of prediction of physical condition and feelings by the AI based on the change of lips movement, eye movement, and vital data
| Project/Area Number |
19K12902
|
|---|
| Research Institution | Tokai University |
|---|
Principal Investigator |
山田 光穗 東海大学, 情報通信学部, 教授 (60366086)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
星野 祐子 東海大学, 情報通信学部, 講師 (80435271)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 疲労 / 体調 / 口唇動作 / 固視微動 / AI / 介護 / サポートベクトルマシン / ロジスッティク回帰 |
|---|
| Outline of Annual Research Achievements |
患者や被介護者の表情や口調から日々の体調や異常行動の予兆が得られると期待されている。本研究は医師や看護師、介護士が患者や被介護者との簡単な会話や表情から一目で体調を判断するように、心拍、体温などの生理データと口唇開口面積の変化、固視微動の標準偏差の変化などとその人の体調や心理状態を照合させたデータベースを構築し、AIを用いてこれらのパラメータから人の体調や心理状態を抽出する。即ち、看護師・介護士の負担を軽減し、患者、被介護者の体調を把握し、QOLの向上に資することを目的とする。
研究は3年計画（2019～2021年度）で実施する。
1年目の2019年度は学習に必要なデータセットの作成とAI学習システムの構築を行う。まず口唇動作の面積などの変化が疲労と関連しているかを調べるため、口唇動作の特徴量の変化をデータセットとして作成した。データセットを作成する疲労課題として単純な計算課題90分間を被験者に課し、課題前後の口唇動作を測定した。実験前後で疲労指標として一般的に使用されているCritical Fusion Frequency (CFF)の測定を行い、口唇動作と比較した。計算課題前後で’a’,’i’,’u’,’e’,’o’母音を多く含む日本語文章を発話させた。CFFの測定結果から課題実施によって疲労が生じていることが示された。疲労と口唇動作について調べた結果、課題前後で開口面積や開口面積の標準偏差、発話時間に変化が見られた。そこで、これらの値を学習用データセットとして様々な学習手法の有効性を検討した。その結果、SVM（サポートベクトルマシン）、LR（ロジスッティク回帰）の疲労推測のスコアが高いことが示された。
2年目の2020年度は口唇動作に加え、眼球運動、バイタルデータから人の体調や感情が抽出できるようにする。さらに1年目と別のデータセットにより検証しアルゴリズムの修正を行う。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
1年目の2019年度は学習に必要なデータセットの作成とAI学習システムの構築を行うのが当初の目標であった。疲労課題を用いて、実際に疲労が生じたときの口唇動作を測定し、口唇開口面積や口唇開口面積の標準偏差、発話時間をデータセットとして作成した。このデータセットを用いて、学習させ疲労推測のスコアを評価した。その結果、SVM（サポートベクトルマシン）、LR（ロジスッティク回帰）が有用なことを示すことができた。以上の理由により、当初の目標を達成することができたと考えている。
|
| Strategy for Future Research Activity |
2年目の2020年度は口唇動作に加え、眼球運動、バイタルデータから人の体調や感情が抽出できるようにする。さらに1年目と別のデータセットにより検証しアルゴリズムの修正を行う。
疲労だけでなく、疲労を軽減する癒やしにも注目し、高精細映像を被験者に観察させ、前頭葉の酸素消費、体温、CFF等を測定することにより、学習データセットとして適用できるどうかを検討する。また、このデータセットを用いて学習アルゴリズムの検討を行う。この研究と並行して、医師や看護師の代わりにロボットが患者、被介護者と会話することにより、体調の変化に関わる口唇動作や固視微動の変化を取得できるように検討を進める。
|
| Causes of Carryover |
前回の科研費(16K01566)「パラ言語認識と口唇動作解析による介護・看護支援の研究」によって取得した口唇動作と眼球運動の膨大なデータが、今回の科研費におけるAI学習用のデータベースに有効であることがわかり、そのデータ解析、データベース化を行ったため、今年度は被験者を雇用してデータベースを構築するための費用が０円となった。また、コロナウィルスの影響で国際会議が中止となり、そのために準備した渡航費用がそのまま残ったため次年度使用額が生じた。
2020年度は、2019年度の研究成果を新たなデータセットで検証する必要があるため、そのデータベース構築のためのソフトウェア開発、被験者の雇用費用に今回生じた残額を使用する。
|
