2023 Fiscal Year Research-status Report
Developing a Home Care Assistive System for Understanding Intentions and Minds of Elderly People
| Project/Area Number |
23K17006
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
陳 思楠 神戸大学, 数理・データサイエンスセンター, 特命助教 (60956150)
|
|---|
| Project Period (FY) |
2023-04-01 – 2027-03-31
|
| Keywords | 介護コンテキスト / 画像認識 / 非言語情報 / 事前学習済みモデル / 機械学習 / 時系列データ分析 / Webサービス / スマートヘルスケア |
|---|
| Outline of Annual Research Achievements |
2023年度の成果は，在宅介護において，介護者や要介護者(以下「対象者」と称する)が日常見守りを必要としている状況を，介護コンテキストとして認識モデルを構築し，様々な関連サービスを開発したことである．
まず，対象者の非言語情報を抽出し，活動場所別のコンテキスト認識サービスを開発した．Raspberry Piと定点カメラと繋ぐことで撮られたライブ画像を，TensorFlow Liteの事前学習済みモデルに入力し，顔や骨格，手指の特徴点座標が時系列で出力されることを確かめた．画像内の活動場所に対して非言語情報をグループ化し，各場所におけるデータラベリングを行い，軽量な機械学習にかけることで，認識モデルを構築した．
また，対象者の日常見守り状況をより多角的に捉えるために，在宅運動の観点から定量分析サービスを開発した．ローカル(エッジ)環境で稼働する複数のモデル(PoseNetやFaceAPI, HandPose)を統合し，時系列における特徴点座標からユークリッド距離や速度，角度を計算する手法も提案した．
人間中心のコンテキスト認識サービスとして，複数モデルの統合と介護コンテキストの性質付け手法の研究開発も進めた．Node.js環境から事前学習済みモデルへの呼び出し，時系列データの受送信，Webサーバへのデプロイ等を提案した．時系列データを複数のパラメータ(手振りや行動，姿勢，表情，視線)で性質付け，瞬時に捉えた対象者の外観とその変化が介護コンテキストとして蓄積されていく．
さらに，コンテキスト分類を行い，日常不規則なコンテキスト検出技術の研究開発にも注力した．ライブ画像のコンテンツから出力された特徴点を教師あり学習にかけ，コンテキスト分類の手法を提案した．コンテキストごとのデータ特性を捉えるために，長期的な傾向，季節変動から，一定期間にわたる不規則な動きを検出するアルゴリズムも設計した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2023年度の研究計画では，在宅介護者・要介護者の日常見守り状況（以下「コンテキスト」と称する）を認識するモデルの構築と，様々な関連サービスの開発，及び要素技術の設計を掲げていた．これに対し，現段階において，活動場所別のコンテキスト認識サービスや，運動時のコンテキスト定量分析サービス，日常不規則なコンテキストの検出技術を実装し，実際の高齢者に予備実験を行ってもらうところまで進んでいる．実用化には未だ細かいチューニングが必要なものの，サービスモデルに対して一定の有効性や受容性が示されていることは大きな進捗であると考えている．
研究代表者の陳はこれらの成果を，国際会議4件，国内研究会1件で発表した．また，日常不規則なコンテキストの検出技術については，国際会議IEEE ICEIB2024のBest Conference Paper Awardも受賞している．
以上のことから，現在までの進捗状況は，「おおむね順調に進展している」と考える．
|
| Strategy for Future Research Activity |
今後は，2023年度に取り込んだコンテキスト認識サービスおよび要素技術の研究開発を継続しつつ，時系列データに基づく意図推定モデルの構築とフレームワークの共通化を進めていきたい．
■(A)介護コンテキストの認識基盤 －－ (A-1)コンテキスト認識補正サービス：定点カメラから撮られたライブ画像の視角や明るさ等に対して前処理を行い，標準化された画像から認識モデルの出力結果を収集し，元画像の結果と比較して効果検証を行う．(A-2)Polygon-as-a-Detector技術：撮影範囲内のライブ画像を，Webブラウザのキャンパスとして多辺形の描画をカスタマイズし，それらと対象者の特徴点座標との位置関係によって，活動エリアを検出する．
■(B)意図推定手法の提案 －－ (B-1)行動意図推定サービス：スケルトン認識を用いて，画像内で体の座標移動の方向を検出し，住宅内の環境レイアウトを組み合わせることで，対象者の行動の意図を推定する．(B-2) 疲労・ストレス推定サービス：介護者の姿勢や顔表情の変化によって，疲労やストレスを推定する．
■(C)共通フレームワークの設計 －－ (C-1)世帯の個別性収集サービス：住居のレイアウトや対象者の要求等，世帯ごとの個別性を収集・整理するサービスを開発する．(C-2)全世帯の共通フレームワーク：(C-1)で収集・整理した内容に基づき，全世帯の推定モデルの構築に共通的なフレームワークを提案する．
|
| Causes of Carryover |
2023年度は，研究代表者の陳が以前の研究職から教育研究職に着任する初年度である．新たな従事比率（エフォート）に応じた業務日程の調整について，最初には不慣れであった．既存の成果を踏まえて更なる研究進行中のコンテンツも存在し，それらが日程調整の都合上で論文発表には間に合わなかった．以上のことは，「次年度使用額が生じた理由」と考えている．
2024年度では，前年度の従事比率に応じた日程調整の経験を深く自省しながら，元計画を従って着実に進める．それらをもとに，生じた次年度使用額を，新たな研究発表にかかる1回の国際会議参加費・オンラインと，1回の論文誌の投稿に必要な費用に計上している．以上のことは，「次年度使用額の使用計画」と考えている．
|
