• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2016 年度 実施状況報告書

パラ言語認識と固視微動解析による介護・看護支援の研究

研究課題

研究課題/領域番号 16K01566
研究機関東海大学

研究代表者

山田 光穗  東海大学, 情報通信学部, 教授 (60366086)

研究分担者 星野 祐子  東海大学, 情報通信学部, 講師 (80435271)
研究期間 (年度) 2016-04-01 – 2019-03-31
キーワード介護・看護支援 / 口唇動作 / 固視微動 / 覚醒度 / 集中度 / 体調評価 / 発話認識 / 発話トレーニング
研究実績の概要

本研究は、口唇動作については「基盤研究C課題番号22500112により研究を行った発話認識装置、基盤研究C課題番号25330418で行った発話トレーニング装置の成果」を、眼球運動については「固視微動を用いたこれまでの覚醒度、集中度の研究成果」を発展させ、日々の体調変化を評価できる装置を開発し、患者、被介護者の気分、健康状態を把握し、QOLの向上、介護・看護者の負担軽減に資することのできる装置として実用化をめざすのが目的である。
3年計画で実施し、1年目は患者・被介護者とネットワークを介して対話できる端末と、対話時の口唇動作と眼球運動を取得できる装置を開発する。2年目は、たとえば日々の体調を自己申告させ、簡単な会話を行い、口唇動作履歴の変化・パワースペクトルの変化、固視微動変化の評価指標として注視点の標準偏差の変化等を測定する。3年目はまとめの年であり、顔画像から口唇動作、固視微動を抽出し、体調、疲労度、覚醒度、集中度などを評価するパラ言語による体調評価装置を完成させ、有用性を評価し実用化をめざす。
1年目の研究実績について概要を述べる。口唇動作については、主に星野が担当し、ジャバスクリプトを用いたウェブベースの取得装置を開発した。眼球運動については山田が主に担当し固視微動の取得装置を開発した。これらを用いて長時間の読書を対象とした疲労度の評価実験を行い、口唇動作、固視微動ともに疲労に伴う変化を抽出することができた。
2年目は、1年目に開発した装置の性能改善を図るとともに、日々の体調変化と口唇動作、固視微動の関係について測定し分析する。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

1年目の目標として設定した口唇動作と固視微動の取得装置について、それぞれ達成した成果を延べる。
口唇動作の取得は、前年度終了した基盤研究Cでは、faceAPIと呼ばれるソフトウェアを元にパソコンを用いた口唇動作取得装置を開発して発話トレーニングの研究を行っていた。faceAPIが高価で、かつパソコンも高性能なものを用いる必要があり、介護・看護分野で広く用いるには装置の小型・低廉化が課題であった。そこで、JavaScriptのライブラリであるclmtrackrを用いて、口唇動作取得装置を開発した。JavaScriptによりカメラから顔画像を取得し、clmtrackrにより口唇や眼球などの特徴点を記録する。clmtrackrでは位置情報がJSONオブジェクトで返されるため、本装置はJavaScriptの他、Web系のプログラミング言語、ドキュメント指向データベース、テキスト形式ファイルのいずれでも容易に扱うことができる。
固視微動については、ゲーム開発等に供されているTobii社Eye-Xを用いて、各種課題実行時の眼球運動から注視点を抽出し、注視点に含まれる固視微動の解析を行った。その結果、簡易なシステムで本研究の目的である注視中の固視微動を用いた体調評価が可能なことを示すことができた。
以上の結果を元に、2年目の課題を行うための予備実験として長時間の読書課題を用いて、読書中、読書前後の口唇動作と固視微動の変化、コントロールとして主観的疲労評価に用いられているCFF(Critical Fusion Frequency)を測定した。その結果、CFF値の低下によって示される疲労の増加と口唇動作、固視微動との間に相関のある可能性を示唆できた。
2年目はこれらの結果を踏まえ、口唇動作取得装置、固視微動取得装置の改善を行い、日々の体調評価との関係について調べていく予定である。

今後の研究の推進方策

2年目は、口唇動作、固視微動による日々の体調評価を目標とする。まず体調を自己申告させ、簡単な会話を行い、口唇動作履歴の変化・パワースペクトルの変化、固視微動変化の評価指標として注視点の標準偏差の変化等を測定する。同時に体調や覚醒度・集中度の生理指標としてCFF(臨界融合周波数)、NIRS(脳内の酸素消費)、脳波等を測定して比較する。すなわち2年目の目標は、自己申告と生理指標の測定結果の相関を求め、生理指標に頼ることなく口唇動作と固視微動により体調や覚醒度・集中度が測定できるようにすることである。さらに、介護・看護現場において本研究提案の有用性を検証するため、口唇動作と固視微動の取得装置を一体化して組み込むことを検討する。

次年度使用額が生じた理由

口唇動作の研究については前年度に終了した基盤研究Cのシステムを活用し、眼球運動に関してはこれまで当研究室で行ってきた研究を発展させ、今年度は極めて順調に研究を進めることができた。そのおかげで予算的に余裕ができたため、来年度の予算だけでは導入が困難であった対話型ロボットの開発に充てることにした。

次年度使用額の使用計画

対話型ロボットの開発に充てる。このロボットを用いて、1年目に開発したアルゴリズムを組込み、口唇動作と眼球運動が取得できるようにして、体調評価の測定に用いる。また、患者、非介護者と看護師、介護士との対話などの機能を組み込み、最終年を完成目標としていている体調評価装置の基盤として用いるために使用する。

  • 研究成果

    (12件)

すべて 2017 2016

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件、 謝辞記載あり 1件) 学会発表 (11件) (うち国際学会 4件)

  • [雑誌論文] How Effective is Using Lip Movement for Japanese Utterance Training2017

    • 著者名/発表者名
      Miyuki SUGANUMA,Tomoki YAMAMURA, Yuko HOSHINO,Mitsuho YAMADA
    • 雑誌名

      Advances in Science, Technology and Engineering Systems Journal

      巻: 2 ページ: 227-233

    • 査読あり / オープンアクセス / 謝辞記載あり
  • [学会発表] Study of Fatigue and Evaluation of Physical Condition by Paralanguage Recognition and Gazing Point Analysis2017

    • 著者名/発表者名
      Miyuki Suganuma, Saya Urakabe, Ryota Kuramochi,Shinya Mochiduki, Yuko Hoshino and Mitsuho Yamada
    • 学会等名
      CATA2017
    • 発表場所
      Waikiki Beach Marriott Resort and Spa, Honolulu, USA
    • 年月日
      2017-03-24
    • 国際学会
  • [学会発表] Development of a Recording Application Working on the Web for the Physical Condition Evaluation System Using the Lip Movement2017

    • 著者名/発表者名
      Yuko Hoshino Miyuki Suganuma Mitsuho Yamada
    • 学会等名
      CATA2017
    • 発表場所
      Waikiki Beach Marriott Resort and Spa, Honolulu, USA
    • 年月日
      2017-03-22
    • 国際学会
  • [学会発表] 注視時の眼球運動と口唇動作に注目した疲労の評価2017

    • 著者名/発表者名
      菅沼美由起、倉持亮太、浦壁沙綾、望月信哉、星野 祐子、山田 光穗
    • 学会等名
      電子情報通信学会イメージ・クオリティ・研究会
    • 発表場所
      九州大学大橋キャンパス 福岡県福岡市
    • 年月日
      2017-03-06
  • [学会発表] 口唇動作に注目した体調評価の検討2016

    • 著者名/発表者名
      浦壁沙綾、倉持亮太、菅沼美由起、望月信哉、山田 光穗
    • 学会等名
      映像情報メディア学会冬季大会2016
    • 発表場所
      東京理科大学森戸記念館 東京都新宿区
    • 年月日
      2016-12-22
  • [学会発表] 口唇動作分析装置に組み込む特徴量の検討2016

    • 著者名/発表者名
      黒澤勇樹、浦壁沙綾、菅沼美由起、望月信哉、星野 祐子、山田 光穗
    • 学会等名
      第11回パーソナルコンピュータ利用技術学会全国大会
    • 発表場所
      東海大学高輪校舎 東京都港区
    • 年月日
      2016-12-17
  • [学会発表] 運転中に注意喚起したときの注意度についての基礎的検討2016

    • 著者名/発表者名
      丸山大岳、斉藤雄太、山田 光穗
    • 学会等名
      第11回パーソナルコンピュータ利用技術学会全国大会
    • 発表場所
      東海大学高輪校舎 東京都港区
    • 年月日
      2016-12-17
  • [学会発表] 口唇動作を用いた発話トレーニングの効果2016

    • 著者名/発表者名
      菅沼美由起、山村知生、星野 祐子、山田 光穗
    • 学会等名
      第11回パーソナルコンピュータ利用技術学会全国大会
    • 発表場所
      東海大学高輪校舎 東京都港区
    • 年月日
      2016-12-17
  • [学会発表] 注視中の眼球運動の変化に注目した体調評価について2016

    • 著者名/発表者名
      小林康祥、中井尊氏、倉持亮太、菅沼美由起、望月信哉、星野 祐子、山田 光穗
    • 学会等名
      第11回パーソナルコンピュータ利用技術学会全国大会
    • 発表場所
      東海大学高輪校舎 東京都港区
    • 年月日
      2016-12-17
  • [学会発表] 注視中の固視微動の分散と注意度についての基礎的検討2016

    • 著者名/発表者名
      丸山大岳、斎藤雄太、山田 光穗
    • 学会等名
      FIT2016(第15 回情報科学技術フォーラム)
    • 発表場所
      富山大学 富山県富山市
    • 年月日
      2016-09-09
  • [学会発表] Effect of Japanese utterance training using lip movement2016

    • 著者名/発表者名
      Miyuki SUGANUMA,Tomoki YAMAMURA, Yuko HOSHINO,Mitsuho YAMADA
    • 学会等名
      ICCSE2016
    • 発表場所
      名古屋大学 野依記念ホール 愛知県名古屋市
    • 年月日
      2016-08-24
    • 国際学会
  • [学会発表] An analysis of changes in attention based on miniature eye movements2016

    • 著者名/発表者名
      Hirotaka MARUYAMA, and Yuta SAITO,Mitsuho Yamada
    • 学会等名
      ICCSE2016
    • 発表場所
      名古屋大学 野依記念ホール 愛知県名古屋市
    • 年月日
      2016-08-24
    • 国際学会

URL: 

公開日: 2018-01-16  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi