2016 Fiscal Year Research-status Report
パラ言語認識と固視微動解析による介護・看護支援の研究
| Project/Area Number |
16K01566
|
|---|
| Research Institution | Tokai University |
|---|
Principal Investigator |
山田 光穗 東海大学, 情報通信学部, 教授 (60366086)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
星野 祐子 東海大学, 情報通信学部, 講師 (80435271)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 介護・看護支援 / 口唇動作 / 固視微動 / 覚醒度 / 集中度 / 体調評価 / 発話認識 / 発話トレーニング |
|---|
| Outline of Annual Research Achievements |
本研究は、口唇動作については「基盤研究C課題番号22500112により研究を行った発話認識装置、基盤研究C課題番号25330418で行った発話トレーニング装置の成果」を、眼球運動については「固視微動を用いたこれまでの覚醒度、集中度の研究成果」を発展させ、日々の体調変化を評価できる装置を開発し、患者、被介護者の気分、健康状態を把握し、QOLの向上、介護・看護者の負担軽減に資することのできる装置として実用化をめざすのが目的である。
3年計画で実施し、1年目は患者・被介護者とネットワークを介して対話できる端末と、対話時の口唇動作と眼球運動を取得できる装置を開発する。2年目は、たとえば日々の体調を自己申告させ、簡単な会話を行い、口唇動作履歴の変化・パワースペクトルの変化、固視微動変化の評価指標として注視点の標準偏差の変化等を測定する。3年目はまとめの年であり、顔画像から口唇動作、固視微動を抽出し、体調、疲労度、覚醒度、集中度などを評価するパラ言語による体調評価装置を完成させ、有用性を評価し実用化をめざす。
1年目の研究実績について概要を述べる。口唇動作については、主に星野が担当し、ジャバスクリプトを用いたウェブベースの取得装置を開発した。眼球運動については山田が主に担当し固視微動の取得装置を開発した。これらを用いて長時間の読書を対象とした疲労度の評価実験を行い、口唇動作、固視微動ともに疲労に伴う変化を抽出することができた。
2年目は、1年目に開発した装置の性能改善を図るとともに、日々の体調変化と口唇動作、固視微動の関係について測定し分析する。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
1年目の目標として設定した口唇動作と固視微動の取得装置について、それぞれ達成した成果を延べる。
口唇動作の取得は、前年度終了した基盤研究Cでは、faceAPIと呼ばれるソフトウェアを元にパソコンを用いた口唇動作取得装置を開発して発話トレーニングの研究を行っていた。faceAPIが高価で、かつパソコンも高性能なものを用いる必要があり、介護・看護分野で広く用いるには装置の小型・低廉化が課題であった。そこで、JavaScriptのライブラリであるclmtrackrを用いて、口唇動作取得装置を開発した。JavaScriptによりカメラから顔画像を取得し、clmtrackrにより口唇や眼球などの特徴点を記録する。clmtrackrでは位置情報がJSONオブジェクトで返されるため、本装置はJavaScriptの他、Web系のプログラミング言語、ドキュメント指向データベース、テキスト形式ファイルのいずれでも容易に扱うことができる。
固視微動については、ゲーム開発等に供されているTobii社Eye-Xを用いて、各種課題実行時の眼球運動から注視点を抽出し、注視点に含まれる固視微動の解析を行った。その結果、簡易なシステムで本研究の目的である注視中の固視微動を用いた体調評価が可能なことを示すことができた。
以上の結果を元に、2年目の課題を行うための予備実験として長時間の読書課題を用いて、読書中、読書前後の口唇動作と固視微動の変化、コントロールとして主観的疲労評価に用いられているCFF(Critical Fusion Frequency)を測定した。その結果、CFF値の低下によって示される疲労の増加と口唇動作、固視微動との間に相関のある可能性を示唆できた。
2年目はこれらの結果を踏まえ、口唇動作取得装置、固視微動取得装置の改善を行い、日々の体調評価との関係について調べていく予定である。
|
| Strategy for Future Research Activity |
2年目は、口唇動作、固視微動による日々の体調評価を目標とする。まず体調を自己申告させ、簡単な会話を行い、口唇動作履歴の変化・パワースペクトルの変化、固視微動変化の評価指標として注視点の標準偏差の変化等を測定する。同時に体調や覚醒度・集中度の生理指標としてCFF（臨界融合周波数）、NIRS（脳内の酸素消費）、脳波等を測定して比較する。すなわち2年目の目標は、自己申告と生理指標の測定結果の相関を求め、生理指標に頼ることなく口唇動作と固視微動により体調や覚醒度・集中度が測定できるようにすることである。さらに、介護・看護現場において本研究提案の有用性を検証するため、口唇動作と固視微動の取得装置を一体化して組み込むことを検討する。
|
| Causes of Carryover |
口唇動作の研究については前年度に終了した基盤研究Cのシステムを活用し、眼球運動に関してはこれまで当研究室で行ってきた研究を発展させ、今年度は極めて順調に研究を進めることができた。そのおかげで予算的に余裕ができたため、来年度の予算だけでは導入が困難であった対話型ロボットの開発に充てることにした。
|
| Expenditure Plan for Carryover Budget |
対話型ロボットの開発に充てる。このロボットを用いて、1年目に開発したアルゴリズムを組込み、口唇動作と眼球運動が取得できるようにして、体調評価の測定に用いる。また、患者、非介護者と看護師、介護士との対話などの機能を組み込み、最終年を完成目標としていている体調評価装置の基盤として用いるために使用する。
|
