Assisting self care and mutual aid of elderly people with dementia at home based on mind externalization

2020 Fiscal Year Annual Research Report

• Project/Area Number: 19H01138
• Research Institution: Kobe University
• Principal Investigator: 中村 匡秀 神戸大学, システム情報学研究科, 准教授 (30324859)
• Co-Investigator(Kenkyū-buntansha): 波多野 賢治 同志社大学, 文化情報学部, 教授 (80314532) ; 宮崎 純 東京工業大学, 情報理工学院, 教授 (40293394) ; 安田 清 大阪工業大学, 情報科学部, 客員教授 (60523165) ; 桑原 教彰 京都工芸繊維大学, 情報工学・人間科学系, 教授 (60395168) ; 数井 裕光 高知大学, 教育研究部医療学系臨床医学部門, 教授 (30346217) ; 佐伯 幸郎 神戸大学, システム情報学研究科, 特命助教 (40549408) ; 徳永 清輝 国立研究開発法人理化学研究所, 革新知能統合研究センター, 特別研究員 (90835092) ; 大武 美保子 国立研究開発法人理化学研究所, 革新知能統合研究センター, チームリーダー (10361544) ; 児玉 直樹 新潟医療福祉大学, 医療技術学部, 教授 (50383146) ; 小杉 尚子 東京医療保健大学, 医療保健学部, 准教授 (80589648)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: センサ情報システム / 「こころ」センシング / 在宅介護 / 認知症 / IoT / エージェント対話

Outline of Annual Research Achievements

2020年度の成果は，前年度に開発した「こころ」センシング基盤を活用して様々な自助支援サービスを開発したことである．まず，スマートフォンアプリのLINEを活用して，高齢者の内的状態をアセスメントする「こころ」の見守りサービスを実装した．このサービスでは，高齢者の身体，精神，社交の3つの側面から，健康状態を尋ねる質問を作成し，LINEのチャットボットが高齢者に問いかけて状態を取得するものである．実装したサービスを，50代～80代の8名の高齢者，および，20代～40名の19名の非高齢者に対して，14か月の運用評価を行った．
また，在宅の認知症当事者とその家族介護者を支援するために，宅内に簡易なセンサ付きスピーカーを設置し，場所と時間に応じた情報提示を行うシステムALPSを提案・実装した．ALPSでは，家族介護者がECAルールによって，情報提示の場所，時刻・曜日，内容を細かく設定でき，世帯ごとに異なる困りごとに柔軟に適応した情報提示が可能になっている．
互助支援サービスとして，高齢者の困り事とその対処法をコミュニティで共有するWebアプリケーションCompass4SLの研究開発も進めた．Compass4SLでは，高齢者がシステムに困りごとを入力し，対処法を検索できるとともに，支援する人が自身の知っている対処法を登録・共有する．対処法を見た高齢者は実際にその方法を試し評価を行うことで，困り事とその対処法が集合知として蓄積されていく．
さらに，IoTやセンサを活用した宅内環境・行動センシングの技術開発にも注力した．定点カメラとコンピュータビジョン技術を用いて，寝たきりの高齢者を対象とした身体活動量を骨格センシングによって計測する手法や，宅内画像内で場所を矩形で定義し，そこに利用者が入ったかどうかを検知するBounding Box as a Locationサービス等を開発した．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

2020年度の研究計画では，在宅高齢者・認知症当事者を対象とした「こころ」センシングの要素開発と，自助互助支援サービスの設計を掲げていた．これに対し，現段階において，実績の概要で述べた具体的なサービス，すなわち，「こころ」の見守りサービス，ALPS，Compass4SL，身体活動量センシング，Bounding Box as a Locationサービスなどの実装が完了し，実際の高齢者に試用してもらうところまで進んでいる．コロナの影響もあり，広範囲な被験者実験はまだできていないものの，サービスに対して一定の受容性や有用性が示されていることは大きな進捗であると考えている．

研究代表者の中村はこれらの成果を，論文誌4編，国際会議論文10件，国内研究会14件，招待講演1件で発表した．また，本科研費を活用した研究分担者の取り組みでは，論文誌5編，国際会議論文9件が発表されている．

以上のことから，現在までの進捗状況は，「おおむね順調に進展している」と考える．

Strategy for Future Research Activity

今後は，2020年度に取り組んだ自助互助サービスのシステム化とシステムのチューニングを継続しつつ，実際の被験者実験を行って提案システムの実証評価を行っていく予定である．
(B) 自助・互助支援サービスの設計
(B-1) 自助支援サービス：対象者自身による「生活遂行支援」，認知症の早期発見につなげる「兆候発見」の実装方法を検討する．(B-2) 互助支援サービス：機会創出の必須機能である「マッチング」と「コミュニケーションの取り次ぎ」の実装方法を検討する．(B-3) 外部リソースの調査：インターネット上の信頼できる情報やサービスを調査し，ディレクトリにまとめる．
(C) システム化とチューニング
(C-1) 対認知症スマートホーム基盤の構築：支援サービスの実装と検証：(B)で開発したシナリオをスマートホーム基盤上に実装する．認知症当事者宅に試験的に設置してもらい，データ収集と検証を通して，システム全体のチューニングを行う．

Research Products

• [Int'l Joint Research] University of Grenoble Alps(フランス)
  • Country Name: FRANCE
  • Counterpart Institution: University of Grenoble Alps
• [Int'l Joint Research] 洛陽理工学院(中国)
  • Country Name: CHINA
  • Counterpart Institution: 洛陽理工学院
• [Journal Article] Relationship between Code Reading Speed and Programmers' Age (2021)
  • Author(s): Yukasa Murakami,Masateru Tsunoda,Masahide Nakamura
  • Journal Title: IEICE Transaction on Information and Systems Volume: Vol.E104-D, No.1 Pages: 121-125
  • DOI: 10.1587/transinf.2020mpl0002
  • Peer Reviewed / Open Access
• [Journal Article] 自己評価と客観評価の変化に基づく実践的人材育成コースにおける質的教育効果の測定 (2021)
  • Author(s): 佐伯 幸郎,福安 直樹,神田 哲也,市川 昊平,吉田 真一,中村 匡秀,楠本 真二
  • Journal Title: コンピュータソフトウェア Volume: Vol.38, No.1 Pages: 52-64
  • DOI: 10.11309/jssst.38.1_52
  • Peer Reviewed / Open Access
• [Journal Article] Influence of Brain-Derived Neurotrophic Factor Genotype on Short-Latency Afferent Inhibition and Motor Cortex Metabolites (2021)
  • Author(s): Ryoki Sasaki, Naofumi Otsuru, Shota Miyaguchi, Sho Kojima, Hiraku Watanabe, Ken Ohno, Noriko Sakurai, Naoki Kodama, Daisuke Sato, Hideaki Onishi
  • Journal Title: Brain Sciences Volume: Vol.11, No.395 Pages: 1-13
  • DOI: 10.3390/brainsci11030395
  • Peer Reviewed / Open Access
• [Journal Article] Scaling laws in natural conversations among elderly people (2021)
  • Author(s): Abe M.S., Otake-Matsuura, M.
  • Journal Title: PLOS ONE Volume: Vol.16, No.2 Pages: 1-14
  • DOI: 10.1371/journal.pone.0246884
  • Peer Reviewed / Open Access
• [Journal Article] Capturing Spontaneous Software Evolution in a Social Coding Platform With Project-as-a-City Concept (2020)
  • Author(s): Koji Toda,Haruaki Tamada,Masahide Nakamura,Kenichi Matsumoto
  • Journal Title: International Journal of Software Innovation (IJSI) Volume: Vol.8, No.3 Pages: 35-40
  • DOI: 10.4018/IJSI.2020070103
  • Peer Reviewed / Open Access
• [Journal Article] Nonintrusive Fine-Grained Home Care Monitoring: Characterizing Quality of In-Home Postural Changes Using Bone-Based Human Sensing (2020)
  • Author(s): Sinan Chen,Sachio Saiki,Masahide Nakamura
  • Journal Title: Sensors Volume: Vol.20, No.20: 5894 Pages: 1-20
  • DOI: 10.3390/s20205894
  • Peer Reviewed / Open Access
• [Journal Article] A Resampling Method for Imbalanced Datasets Considering Noise and Overlap (2020)
  • Author(s): Taisho Sasada, Zhaoyu Liu, Tokiya Baba, Kenji Hatano, Yusuke Kimura
  • Journal Title: Procedia Computer Science Volume: 176 Pages: 420-429
  • DOI: 10.1016/j.procs.2020.08.043
  • Peer Reviewed / Open Access
• [Journal Article] Characteristics of resting-state functional connectivity in older adults after the PICMOR intervention program: a preliminary report (2020)
  • Author(s): Sugimoto H., Kawagoe T., Otake-Matsuura M.
  • Journal Title: BMC Geriatrics Volume: Vol.20, No.486 Pages: 1-10
  • DOI: 10.1186/s12877-020-01892-2
  • Peer Reviewed / Open Access
• [Journal Article] AI for social good: unlocking the opportunity for positive impact (2020)
  • Author(s): Mohamed, S. Picciariello, A., Connelly, B., Belgrave, D.C.M., Ezer, D., Cachat van der Haert, F., Mugisha, F., Abila, G., Arai, H., Almiraat, H., Proskurnia, J., Snyder, K., Otake-Matsuura, M., Othman, M., Glasmachers, T., de Wever,, W., Teh, Y.W., Khan, M. E., Winne, R.D., Schaul, T., Clopath, C.
  • Journal Title: Nature Communications Volume: 11 Pages: 1-6
  • DOI: 10.1038/s41467-020-15871-z
  • Peer Reviewed / Open Access
• [Presentation] インタラクティブに個人適応するスマートシステムの特徴づけ (2021)
  • Author(s): 中田匠哉,佐伯幸郎,中村匡秀
  • Organizer: 電子情報通信学会技術研究報告,Vol.120, No.324,LOIS2020-38
• [Presentation] 最適化問題に基づく消防局構成計画と事前評価システムの開発 (2021)
  • Author(s): 矢吹直也,佐伯幸郎,中村匡秀
  • Organizer: 電子情報通信学会技術研究報告,Vol.120, No.324
• [Presentation] コロナ時代の密を考慮した避難所ナビゲーションアプリの開発 (2021)
  • Author(s): 中田大翔,室谷敏生,中村匡秀
  • Organizer: 電子情報通信学会技術研究報告,Vol.120, No.324, LOIS2020-39
• [Presentation] IoTとバーチャルエージェントで見守る在宅高齢者の「こころ」 (2021)
  • Author(s): 中村 匡秀
  • Organizer: 長崎大学IT先端技術習得講座・第3回成果発表会,
  • Invited
• [Presentation] 在宅高齢者を対象とした「こころ」の見守りサービスの運用と品質評価 (2021)
  • Author(s): 三浦稚咲,佐伯幸郎,中村匡秀,安田清
  • Organizer: 電子情報通信学会技術研究報告,Vol.120, No.432, HCS2020-75
• [Presentation] Using Human Pose Estimation for User-Defined Indoor Location Sensing (2021)
  • Author(s): Sinan Chen,Sachio Saiki,Masahide Nakamura
  • Organizer: The 2021 International Workshop on Pervasive Information Flow (PerFlow'21), Held in conjunction with PerCom 2021
  • Int'l Joint Research
• [Presentation] エンドユーザのための個人適応エージェント対話フレームワークの開発 (2021)
  • Author(s): 陳思楠,佐伯幸郎,中村匡秀
  • Organizer: 電子情報通信学会技術研究報告,Vol.120, No.432, HCS2020-74
• [Presentation] 在宅高齢者を支援する個人適応型スピーカーサービスの提案 (2021)
  • Author(s): 明石拓弥,佐伯幸郎,中村匡秀,安田清
  • Organizer: 電子情報通信学会技術研究報告,Vol.120, No.434
• [Presentation] 救急ビッグデータを活用した2020年の熱中症搬送者分析 (2021)
  • Author(s): 松場 建都,佐伯 幸郎,中村 匡秀
  • Organizer: 電子情報通信学会技術研究報告,Vol.120, No.434
• [Presentation] 変化点検知を活用した顔特徴量時系列データからの注目点の抽出 (2021)
  • Author(s): 平山孝輔,佐伯幸郎,中村匡秀
  • Organizer: 電子情報通信学会技術研究報告,Vol.120, No.432, HCS2020-78
• [Presentation] 在宅高齢者を対象とした困り事・対処法共有サービスの実装 (2021)
  • Author(s): 雲丹亀和希,佐伯幸郎,中村匡秀,安田清
  • Organizer: 電子情報通信学会技術研究報告,Vol.120, No.434, SC2020-42
• [Presentation] 骨格センシングを用いた宅内身体活動の品質づけ手法の提案 (2020)
  • Author(s): 陳思楠,佐伯幸郎,中村匡秀
  • Organizer: 電子情報通信学会技術研究報告,Vol.120, No.49, SC2020-1
• [Presentation] EVIDENT: Extraction and Visualization Interface of Drawing Execution in Neuropsychological Test (2020)
  • Author(s): Ryukichi Sekimoto,Masahide Nakamura,Sachio Saiki
  • Organizer: 10th International Conference, DHM 2020, Held as Part of the 22nd HCI International Conference, HCII 2020,Vol.LNCS_12198, No.1
  • Int'l Joint Research
• [Presentation] Extracting and Evaluating Personal Interests with Dialogue Agent (2020)
  • Author(s): Yuki Tokuda,Masahide Nakamura,Sachio Saiki,Kiyoshi Yasuda
  • Organizer: 11th International Conference, DHM 2020, Held as Part of the 22nd HCI International Conference, HCII 2020,Vol.LNCN 12198, No.1
  • Int'l Joint Research
• [Presentation] FD-CAST: A Tool for Analyzing and Simulating Fire Department Configurations (2020)
  • Author(s): Naoya Yabuki,Sachio Saiki,Masahide Nakamura
  • Organizer: 10th International Conference, DHM 2020, Held as Part of the 22nd HCI International Conference, HCII 2020,
  • Int'l Joint Research
• [Presentation] Fine-Grained Map Coloring Web Service for JavaScript (2020)
  • Author(s): Tetsuya Nakai,Sachio Saiki,Masahide Nakamura
  • Organizer: 10th International Conference, DHM 2020, Held as Part of the 22nd HCI International Conference, HCII 2020,Vol.LNCS 12199, No.2
  • Int'l Joint Research
• [Presentation] 在宅高齢者を対象とした「こころ」の見守りサービスのフィードバック機能実装と評価 (2020)
  • Author(s): 三浦稚咲,佐伯幸郎,中村匡秀,安田清
  • Organizer: 電子情報通信学会技術研究報告,Vol.120, No.136, HCS2020-33
• [Presentation] 表情センシングサービスを用いた在宅高齢者向け動画再生アプリの評価 (2020)
  • Author(s): 平山孝輔,佐伯幸郎,中村匡秀
  • Organizer: 電子情報通信学会技術研究報告,Vol.120, No.136, HCS2020-34
• [Presentation] Measuring user-defined facial features for supporting scientific long-term care (2020)
  • Author(s): Kosuke Hirayama,Sachio Saiki,Masahide Nakamura
  • Organizer: ISG's 12th World Conference of Gerontechnology,Vol.19(suppl)
  • Int'l Joint Research
• [Presentation] Developing a Smart System Encouraging Self-Aid and Mutual Voluntary Aid for Elderly People at Home (2020)
  • Author(s): Masahide Nakamura,Kenji Hatano,Jun Miyazaki,Kiyoshi Yasuda,Noriaki Kuwahara,Hiroaki KazuiI,Sachio Saiki,Seiki Tokunaga,Mihoko Otake,Naoki Kodama,Naoko Kosugi
  • Organizer: ISG's 12th World Conference of Gerontechnology,Vol.19(suppl)
  • Int'l Joint Research
• [Presentation] Implementing Mind Monitoring Service for Elderly People at Home Using LINE Chatbot (2020)
  • Author(s): Chisaki Miura,Haruhisa Maeda,Sachio Saiki,Masahide Nakamura,Kiyoshi Yasuda
  • Organizer: ISG's 12th World Conference of Gerontechnology,Vol.19(suppl)
  • Int'l Joint Research
• [Presentation] Implementing and Evaluating feedback feature of Mind Monitoring Service for Elderly People at Home (2020)
  • Author(s): Chisaki Miura,Sachio Saiki,Masahide Nakamura,Kiyoshi Yasuda
  • Organizer: The 22nd International Conference on Information Integration and Web-based Applications & Services (iiWAS2020),
  • Int'l Joint Research
• [Presentation] Evaluating Video Playing Application for Elderly People at Home by Facial Expression Sensing Service (2020)
  • Author(s): Kosuke Hirayama,Sachio Saiki,Masahide Nakamura
  • Organizer: The 22nd International Conference on Information Integration and Web-based Applications & Services (iiWAS2020),
  • Int'l Joint Research
• [Presentation] 神経心理学的描画検査における描画過程の可視化インターフェースEVIDENTの実装 (2020)
  • Author(s): 関本竜吉,佐伯幸郎,中村匡秀,児玉直樹,佐藤厚
  • Organizer: nan,Vol.120, No.232 SC2020-31
• [Presentation] 救急出動記録を活用した熱中症に関連する救急需要の分析と予測 (2020)
  • Author(s): 中井 哲也,佐伯 幸郎,中村 匡秀
  • Organizer: 電子情報通信学会技術研究報告,Vol.120, No.232 SC2020-31
• [Presentation] A Model-agnostic recommendations Explanation System Based on Knowledge Graph (2020)
  • Author(s): Yuhao Chen, Jun Miyazaki
  • Organizer: The 31st International Conference on Database and Expert Systems Applications (DEXA2020)
  • Int'l Joint Research
• [Presentation] Automatic Terminology Extraction using A Dependency-Graph in NLP (2020)
  • Author(s): Yusuke Kimura, Kazuma Kusu, Kenji Hatano, Tokiya Baba
  • Organizer: Proceedings of the 9th World Congress on Information and Communication Technologies
  • Int'l Joint Research
• [Presentation] Success rate of various countermeasures against behavioral psychological symptoms of dementia based on the accumulation of real-world experience (2020)
  • Author(s): Kazui H, Sato S, Yoshiyama K, Kanemoto H, Kosugi N, Ikeda M.
  • Organizer: IPA Virtual congress
  • Int'l Joint Research
• [Presentation] Development of a Dialogue Robot Bono-06 for Cognitive Training of Older Adults (2020)
  • Author(s): Tokunaga S., Otake-Matsuura M.
  • Organizer: ISG's 12th World Conference of Gerontechnology,Vol.19(suppl)
  • Int'l Joint Research
• [Presentation] Development of a group conversation support robot Bono-05 for cognitive health of older adults (2020)
  • Author(s): Otake-Matsuura M., Tokunaga S.
  • Organizer: ISG's 12th World Conference of Gerontechnology,Vol.19(suppl)
  • Int'l Joint Research
• [Presentation] Performance Evaluation of Text-Oriented Artificial Chat Operation System (TACOS) (2020)
  • Author(s): Tokunaga S., Tamura K., Otake-Matsuura M.
  • Organizer: 10th International Conference, DHM 2020, Held as Part of the 22nd HCI International Conference, HCII 2020
  • Int'l Joint Research
• [Presentation] Towards Practical Use of Bedside Sensing/Voice-Calling System for Preventing Falls (2020)
  • Author(s): Miyake N., Kumagai K., Tokunaga S., Otake-Matsuura M.
  • Organizer: 10th International Conference, DHM 2020, Held as Part of the 22nd HCI International Conference, HCII 2020
  • Int'l Joint Research
• [Presentation] Services for Cognitive Health Co-created with Older Adults (2020)
  • Author(s): Otake-Matsuura M. et al.
  • Organizer: 6th International Conference, ITAP 2020, Held as Part of the 22nd HCI International Conference, HCII 2020
  • Int'l Joint Research
• [Presentation] Classifying Mild Cognitive Impairment from Behavioral Responses in Emotional Arousal and Valence Evaluation Task - AI Approach for Early Dementia Biomarker in Aging Societies - (2020)
  • Author(s): Rutkowski TM, Abe MS, Koculak M, Otake-Matsuura M.
  • Organizer: 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC)
  • Int'l Joint Research