2018 Fiscal Year Research-status Report
パラ言語認識と固視微動解析による介護・看護支援の研究
| Project/Area Number |
16K01566
|
|---|
| Research Institution | Tokai University |
|---|
Principal Investigator |
山田 光穗 東海大学, 情報通信学部, 教授 (60366086)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
星野 祐子 東海大学, 情報通信学部, 講師 (80435271)
|
|---|
| Project Period (FY) |
2016-04-01 – 2020-03-31
|
| Keywords | 介護・看護支援 / 体調評価 / 口唇動作 / 眼球運動 / 疲労度 / パラ言語 / 集中度 |
|---|
| Outline of Annual Research Achievements |
本研究は、口唇動作については基盤研究C課題番号22500112により研究を行った発話認識装置、基盤研究C課題番号25330418で行った発話トレーニング装置の成果を、眼球運動については固視微動を用いたこれまでの覚醒度、集中度の研究成果を発展させ、日々の体調変化を評価できる装置を開発し、患者、被介護者の気分、健康状態を把握し、QOLの向上、介護・看護者の負担軽減に資することのできる装置として実用化をめざすのが目的である。3年計画で実施し、1年目は患者・被介護者とネットワークを介して対話できる端末と、対話時の口唇動作と眼球運動を取得できる装置を開発する。2年目は、たとえば日々の体調を自己申告させ、簡単な会話を行い、口唇動作履歴の変化・パワースペクトルの変化、固視微動変化の評価指標として注視点の標準偏差の変化等を測定する。3年目は、顔画像から口唇動作、固視微動を抽出し、体調、疲労度、覚醒度、集中度などを評価してパラ言語による体調評価を行うことができることを示した。3年目はまとめの年であったが、研究期間を延長し、なおいっそう有用性の高い体調評価装置として実用化をめざす。
1年目では、口唇動作については主に星野が担当し、ジャバスクリプトを用いたウェブベースの取得装置を開発した。眼球運動については山田が主に担当し固視微動の取得装置を開発した。これらを用いて長時間の読書を対象とした疲労度の評価実験を行い、口唇動作、固視微動ともに疲労に伴う変化を抽出することができた。
2年目は、1年目に開発した装置の性能改善を図るとともに、日々の体調変化と口唇動作、固視微動の関係について測定し分析した。
3年目は、顔画像から口唇動作、固視微動を抽出し、体調、疲労度、覚醒度、集中度などを評価してパラ言語による体調評価を行うことができることを示した。
4年目は、パラ言語による体調評価装置を完成させ、有用性を評価する。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
3年目の目標である顔画像から口唇動作、固視微動を抽出し、体調、疲労度、覚醒度、集中度などを評価してパラ言語による体調評価を行うことができることを示した結果について示す。
2年目の成果として、計算課題を用いた結果として、口唇動作については特に口唇開口面積で計算課題後に減少傾向を示し，疲労の影響により口の動きが小さくなる傾向が示されている。注視中の固視微動については、固視微動の標準偏差は上昇し、計算課題終盤で被験者の視覚的注意のレベル低下を示唆する結果を得ている。
これまでの結果は、主に課題の開始前後の口唇動作や固視微動の標準偏差を測定している。患者、被介護者の気分、健康状態をリアルタイムで把握するには、課題実施中のリアルタイムの変化を測定する必要がある。そこで、計算課題の回答率と固視微動の標準偏差の関係を5分ごとに解析した。課題は一桁の計算課題をタブレットパソコン上に表示し、同じくタブレットに表示されたテンキーを用いて回答させる。実験時間は1時間30分である。課題中の眼球運動から注視点を抽出し，注視中の固視微動の標準偏差を水平と垂直成分に分け5分毎に平均して比較検討を行った。その結果，固視微動の標準偏差の垂直成分に共通する傾向が見られた。すなわち、注視中の固視微動の垂直成分が中盤から上昇し、終盤に向かって減少する共通する傾向が見られた。この結果は課題途中での疲労の蓄積もしくは集中力の低下を示し、課題終了直前では一般的にもう一踏ん張り（ラストスパート）により一般的に成績は向上するが眼球運動でも同様の傾向が示された。
以上のことから、患者、被介護者との面と向かった何気ない会話から得られる口唇動作と眼球運動から、逐次疲労や気分などの精神状態、生理状態を把握できることを示すことができた。
|
| Strategy for Future Research Activity |
当初は、3年目にパラ言語による体調評価装置を完成させ、有用性を評価することであった。しかし、口唇動作と固視微動の取得装置を一体化して組み込んだ装置の開発について検討を行った結果、患者、被介護者との面と向かった何気ない会話を実現するには、より自然な会話や接触のできる端末すなわちロボットの開発が必要であることがわかった。そこで目と目のコンタクトを実現できる眼球の表示、自然な動作ができる口唇動作の表示などを組み込んだ装置を開発することとした。そのため、当初の期間を1年延長した。
4年目は、口唇動作と固視微動の取得装置として、患者、被介護者と自然な接触が可能な取得装置を完成させる。その上で、この装置を用いて疲労だけで無く日々の体調を測定して、CFF（臨界融合周波数）、NIRS（脳内の酸素消費）、脈波など他の生理指標と比較し、研究提案の有用性を検証する。
その結果を基に、今後、介護・看護現場に役立てるための課題、普及を図る方策についてまとめ、本研究課題を締めくくる。
|
| Causes of Carryover |
顔画像から口唇動作、固視微動を抽出し、体調、疲労度、覚醒度、集中度などを評価するパラ言語による体調評価装置を実現することが本研究課題の目的である。研究は順調に推移し、口唇動作、固視微動から体調評価をおこなうことができることを示した。補助期間の延長により、この成果を組み込んだ、なおいっそう有用性の高い体調評価装置として実用化できると考えたため、次年度に必要な費用を残すことにした。
この費用は、３年間に開発した研究成果を組込み、口唇動作と眼球運動が取得できるようにすするとともに、看護・被介護者と自然な接触ができる対話型ロボットの開発に充てる。
|
