| Project/Area Number |
23K17006
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 62020:Web informatics and service informatics-related
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
陳 思楠 神戸大学, 数理・データサイエンスセンター, 特命助教 (60956150)
|
|---|
| Project Period (FY) |
2023-04-01 – 2027-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2026: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2025: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2024: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | 介護コンテキスト / 画像認識 / 非言語情報 / 事前学習済みモデル / 機械学習 / 時系列データ分析 / Webサービス / スマートヘルスケア / 在宅介護支援 / コンピュータビジョン / エージェント / 状態観察 / 意図推定 |
|---|
| Outline of Research at the Start |
本研究では，在宅の介護者・要介護者を対象として，本人の「意図」や「心のうち」を汲み取る手法を提案し，一般世帯で導入可能なシステムとして構築するとともに，実際の在宅介護現場に適用・評価する．コンピュータビジョンによる外部的な観察と，エージェントとの対話を通した対象者の内部状態の外化を統合することで，本課題にチャレンジする．
具体的に，定点カメラのライブ画像から特徴量を抽出し，介護が必要となる状況(介護コンテキストと呼ぶ)を認識する．介護コンテキストの時系列変化を検出して対象者の意図を推定し，意図とエージェントを連携して，対象者にエージェントが声掛けする．実際の在宅介護現場に配備して臨床実験を行う．
|
| Outline of Annual Research Achievements |
2023年度の成果は，在宅介護において，介護者や要介護者(以下「対象者」と称する)が日常見守りを必要としている状況を，介護コンテキストとして認識モデルを構築し，様々な関連サービスを開発したことである．
まず，対象者の非言語情報を抽出し，活動場所別のコンテキスト認識サービスを開発した．Raspberry Piと定点カメラと繋ぐことで撮られたライブ画像を，TensorFlow Liteの事前学習済みモデルに入力し，顔や骨格，手指の特徴点座標が時系列で出力されることを確かめた．画像内の活動場所に対して非言語情報をグループ化し，各場所におけるデータラベリングを行い，軽量な機械学習にかけることで，認識モデルを構築した．
また，対象者の日常見守り状況をより多角的に捉えるために，在宅運動の観点から定量分析サービスを開発した．ローカル(エッジ)環境で稼働する複数のモデル(PoseNetやFaceAPI, HandPose)を統合し，時系列における特徴点座標からユークリッド距離や速度，角度を計算する手法も提案した．
人間中心のコンテキスト認識サービスとして，複数モデルの統合と介護コンテキストの性質付け手法の研究開発も進めた．Node.js環境から事前学習済みモデルへの呼び出し，時系列データの受送信，Webサーバへのデプロイ等を提案した．時系列データを複数のパラメータ(手振りや行動，姿勢，表情，視線)で性質付け，瞬時に捉えた対象者の外観とその変化が介護コンテキストとして蓄積されていく．
さらに，コンテキスト分類を行い，日常不規則なコンテキスト検出技術の研究開発にも注力した．ライブ画像のコンテンツから出力された特徴点を教師あり学習にかけ，コンテキスト分類の手法を提案した．コンテキストごとのデータ特性を捉えるために，長期的な傾向，季節変動から，一定期間にわたる不規則な動きを検出するアルゴリズムも設計した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2023年度の研究計画では，在宅介護者・要介護者の日常見守り状況（以下「コンテキスト」と称する）を認識するモデルの構築と，様々な関連サービスの開発，及び要素技術の設計を掲げていた．これに対し，現段階において，活動場所別のコンテキスト認識サービスや，運動時のコンテキスト定量分析サービス，日常不規則なコンテキストの検出技術を実装し，実際の高齢者に予備実験を行ってもらうところまで進んでいる．実用化には未だ細かいチューニングが必要なものの，サービスモデルに対して一定の有効性や受容性が示されていることは大きな進捗であると考えている．
研究代表者の陳はこれらの成果を，国際会議4件，国内研究会1件で発表した．また，日常不規則なコンテキストの検出技術については，国際会議IEEE ICEIB2024のBest Conference Paper Awardも受賞している．
以上のことから，現在までの進捗状況は，「おおむね順調に進展している」と考える．
|
| Strategy for Future Research Activity |
今後は，2023年度に取り込んだコンテキスト認識サービスおよび要素技術の研究開発を継続しつつ，時系列データに基づく意図推定モデルの構築とフレームワークの共通化を進めていきたい．
■(A)介護コンテキストの認識基盤 －－ (A-1)コンテキスト認識補正サービス：定点カメラから撮られたライブ画像の視角や明るさ等に対して前処理を行い，標準化された画像から認識モデルの出力結果を収集し，元画像の結果と比較して効果検証を行う．(A-2)Polygon-as-a-Detector技術：撮影範囲内のライブ画像を，Webブラウザのキャンパスとして多辺形の描画をカスタマイズし，それらと対象者の特徴点座標との位置関係によって，活動エリアを検出する．
■(B)意図推定手法の提案 －－ (B-1)行動意図推定サービス：スケルトン認識を用いて，画像内で体の座標移動の方向を検出し，住宅内の環境レイアウトを組み合わせることで，対象者の行動の意図を推定する．(B-2) 疲労・ストレス推定サービス：介護者の姿勢や顔表情の変化によって，疲労やストレスを推定する．
■(C)共通フレームワークの設計 －－ (C-1)世帯の個別性収集サービス：住居のレイアウトや対象者の要求等，世帯ごとの個別性を収集・整理するサービスを開発する．(C-2)全世帯の共通フレームワーク：(C-1)で収集・整理した内容に基づき，全世帯の推定モデルの構築に共通的なフレームワークを提案する．
|
