• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

神経難病患者の進行性を考慮した顔面を用いたコミュニケーション支援の実証的研究

研究課題

研究課題/領域番号 19KT0029
研究種目

基盤研究(C)

配分区分基金
応募区分特設分野
研究分野 オラリティと社会
研究機関九州工業大学

研究代表者

齊藤 剛史  九州工業大学, 大学院情報工学研究院, 教授 (10379654)

研究分担者 伊藤 和幸  国立障害者リハビリテーションセンター(研究所), 研究所 福祉機器開発部, 研究室長 (80370873)
研究期間 (年度) 2019-07-17 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2021年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2020年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2019年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
キーワードコミュニケーション支援 / 神経難病患者 / 眼球運動 / 口形認識
研究開始時の研究の概要

神経難病患者は病状の進行により、身体機能やコミュニケーション能力が著しく障害され、進行期から終末期にかけては、自分で動いたり、声を出したりすることが困難になる。このため、話し言葉や書き言葉によるコミュニケーション能力が損なわれてしまう。本研究課題では、患者に新しいオラリティの形を提供して家族などと共存を保ち続ける社会を提供することを目指し、非接触で実現可能な映像解析技術を用いて、病状の進行を考慮して患者の顔画像より各部位の動きを解析し、意思や感情を推定するコミュニケーション支援機器の開発に取り組む。開発したコミュニケーション支援機器を用いて実証的評価する。

研究成果の概要

神経難病患者は病状の進行により、身体機能やコミュニケーション能力が著しく障害される。この課題を解決するために顔面に対する顔画像処理技術を用いたコミュニケーション支援機器の開発に取り組んだ。
解析対象として眼球運動および口形を選んだ。前者に対しては、ウェアラブルカメラを装着した患者の瞳孔中心を実時間で検出し、一定以上の動きがある場合に信号を出力する眼鏡型スイッチを開発した。さらに神経難病患者協力のもと検証実験に取り組み一定の評価を得られた。後者に対しては、神経難病患者31名より700以上の発話シーンを収集した。深層学習による認識実験を実施し、十分な精度を得られた。

研究成果の学術的意義や社会的意義

本研究では神経難病患者を対象として、研究分担者、施設スタッフおよび患者協力の下、研究に取り組んだ。口形認識について、健常者の発話シーンは既存の公開データセットが存在するが患者の発話シーンはない。そのため発話シーン収集に取り組みデータセットを構築した。これは今後の研究発展に貢献できるであろう。眼球運動を利用した眼鏡型スイッチに関しては、単に開発するだけでなく患者協力による検証実験まで進めることができたことは大きな成果である。他の患者からの利用要望を受けており、今後の展開が期待できる。

報告書

(5件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 2019 実施状況報告書
  • 研究成果

    (45件)

すべて 2023 2022 2021 2020 2019 その他

すべて 雑誌論文 (4件) (うち査読あり 2件、 オープンアクセス 2件) 学会発表 (38件) (うち国際学会 7件、 招待講演 2件) 備考 (1件) 産業財産権 (2件)

  • [雑誌論文] Isolated single sound lip-reading using a frame-based camera and event-based camera2023

    • 著者名/発表者名
      Kanamaru Tatsuya、Arakane Taiki、Saitoh Takeshi
    • 雑誌名

      Frontiers in Artificial Intelligence

      巻: 5 ページ: 1-10

    • DOI

      10.3389/frai.2022.1070964

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 神経難病患者向けの口形の動きを利用したコミュニケーション支援に関する研究2020

    • 著者名/発表者名
      齊藤剛史,中村祐哉,伊藤和幸,白井誠
    • 雑誌名

      地域ケアリング

      巻: 22 ページ: 51-52

    • 関連する報告書
      2020 実施状況報告書
  • [雑誌論文] 眼球運動を利用した呼び出しシステムの開発2020

    • 著者名/発表者名
      齊藤剛史,坂本一樹,伊藤和幸,白井誠
    • 雑誌名

      地域ケアリング

      巻: 22 ページ: 62-63

    • 関連する報告書
      2020 実施状況報告書
  • [雑誌論文] Lip Reading using Facial Expression Features2020

    • 著者名/発表者名
      Tatsuya Shirakata, Takeshi Saitoh
    • 雑誌名

      International Journal of Computer Vision and Signal Processing

      巻: 1 ページ: 9-15

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] 神経難病患者の発話シーンに対する口形認識2023

    • 著者名/発表者名
      権藤 優季,中村 祐哉,齊藤 剛史,伊藤 和幸
    • 学会等名
      電子情報通信学会 福祉情報工学研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] CNN-based pupil center point detection using infrared face image2023

    • 著者名/発表者名
      Ploywow Nhuthep, Takeshi Saitoh, Kazuyuki Itoh
    • 学会等名
      AROB-ISBC-SWARM2023
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 単語読唇に有効な深層学習モデルの検討2022

    • 著者名/発表者名
      荒金 大清,齊藤 剛史
    • 学会等名
      電子情報通信学会 パターン認識とメディア理解研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] イベントベースカメラを用いた孤立単音読唇2022

    • 著者名/発表者名
      金丸 竜也,荒金 大清,齊藤 剛史
    • 学会等名
      第28回 画像センシングシンポジウム(SSII2022)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 日本語文章発話シーンデータベースの構築および日本語文章読唇2022

    • 著者名/発表者名
      荒金 大清,齊藤 剛史,千葉 隆壱,森勢 将雅,小田 恭央
    • 学会等名
      第25回 画像の認識・理解シンポジウム(MIRU2022)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] マスク装着顔画像に対する単語読唇2022

    • 著者名/発表者名
      甲斐 千裕,齊藤 剛史
    • 学会等名
      第9回サイレント音声認識ワークショップ(SSRW2022)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 少数データに対する読唇技術に関する研究2022

    • 著者名/発表者名
      児玉 道成,齊藤 剛史
    • 学会等名
      第9回サイレント音声認識ワークショップ(SSRW2022)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 日本語文章発話シーンデータベースの構築および日本語文章読唇2022

    • 著者名/発表者名
      荒金 大清,齊藤 剛史
    • 学会等名
      第9回サイレント音声認識ワークショップ(SSRW2022)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] メタ学習を用いた単語読唇の検討2022

    • 著者名/発表者名
      児玉 道成,齊藤 剛史
    • 学会等名
      電子情報通信学会 パターン認識とメディア理解研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] マスク顔画像で読唇できる?2022

    • 著者名/発表者名
      甲斐 千裕,荒金 大清,齊藤 剛史
    • 学会等名
      動的画像処理実利用化ワークショップ2023(DIA2023)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Conformer-Based Lip-Reading for Japanese Sentence2022

    • 著者名/発表者名
      Arakane Taiki、Saitoh Takeshi、Chiba Ryuuichi、Morise Masanori、Oda Yasuo
    • 学会等名
      Image and Vision Computing. IVCNZ 2022. Lecture Notes in Computer Science
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 日本語読話能力検査の実施報告2022

    • 著者名/発表者名
      齊藤 剛史,立入 哉
    • 学会等名
      電子情報通信学会 福祉情報工学研究会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Transformerを用いた日本語文章読唇2021

    • 著者名/発表者名
      白方 達也,齊藤 剛史
    • 学会等名
      第27回 画像センシングシンポジウム(SSII2021)
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] First Order Motion Modelを用いた特定話者認識問題タスクへの置き換えによる読唇手法の提案2021

    • 著者名/発表者名
      児玉 道成,齊藤 剛史
    • 学会等名
      第27回 画像センシングシンポジウム(SSII2021)
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] メガネ型カメラを利用した眼球運動による呼び出しシステム2021

    • 著者名/発表者名
      坂本 一樹,齊藤 剛史,伊藤 和幸,白井 誠,田川 元気
    • 学会等名
      第35回リハ工学カンファレンス
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] ITAコーパスマルチモーダルデータベース2021

    • 著者名/発表者名
      齊藤 剛史,小田 恭央,小口 純矢,金井 郁也,森勢 将雅
    • 学会等名
      第8回サイレント音声認識ワークショップ(SSRW2021)
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 生成モデルを用いた単語読唇に関する研究2021

    • 著者名/発表者名
      児玉 道成,齊藤 剛史
    • 学会等名
      第8回サイレント音声認識ワークショップ(SSRW2021)
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] TCNを用いた単語読唇に関する研究2021

    • 著者名/発表者名
      荒金 大清,齊藤 剛史
    • 学会等名
      第8回サイレント音声認識ワークショップ(SSRW2021)
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 読話能力テスト報告2021

    • 著者名/発表者名
      齊藤 剛史,立入 哉
    • 学会等名
      第8回サイレント音声認識ワークショップ(SSRW2021)
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 瞳孔中心検出に基づく眼球運動を利用したALS患者用の眼鏡型スイッチの開発2021

    • 著者名/発表者名
      坂本 一樹,齊藤 剛史,伊藤 和幸
    • 学会等名
      電子情報通信学会 福祉情報工学研究会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 眼球運動を利用した眼鏡型スイッチの開発(第1報)~ ALS療養者を対象として ~2021

    • 著者名/発表者名
      伊藤 和幸,坂本 一樹,齊藤 剛史,白井 誠,田川 元気
    • 学会等名
      第9回日本難病医療ネットワーク学会学術集会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 眼球運動を利用した眼鏡型スイッチの開発(第2報)~ ALS療養者を対象として ~2021

    • 著者名/発表者名
      白井 誠,田川 元気,伊藤 和幸,坂本 一樹,齊藤 剛史
    • 学会等名
      第9回日本難病医療ネットワーク学会学術集会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Temporal Convolutional Networkを用いた単語読唇2021

    • 著者名/発表者名
      荒金 大清,齊藤 剛史
    • 学会等名
      第11回バイオメトリクスと認識・認証シンポジウム(SBRA2021)
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] イベントベースカメラからの顔特徴点検出法の検討2021

    • 著者名/発表者名
      金丸 竜也,齊藤 剛史
    • 学会等名
      ビジョン技術の実利用ワークショップ(ViEW2021)
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 3DCNN-based mouth shape recognition for patient with intractable neurological diseases2021

    • 著者名/発表者名
      Yuya Nakamura, Takeshi Saitoh, Kazuyuki Itoh
    • 学会等名
      13th International Conference on Graphics and Image Processing (ICGIP2021)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Replacing speaker-independent recognition task with speaker-dependent task for lip-reading using First Order Motion Model Paper2021

    • 著者名/発表者名
      Michinari Kodama, Takeshi Saitoh
    • 学会等名
      13th International Conference on Graphics and Image Processing (ICGIP2021)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Japanese Sentence Dataset for Lip-reading2021

    • 著者名/発表者名
      Tatsuya Shirakata and Takeshi Saitoh
    • 学会等名
      IAPR 17th International Conference on Machine Vision Applications (MVA2021)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] 肢体不自由者の支援技術研究の歩み ~将来展望と課題について~2021

    • 著者名/発表者名
      伊藤 和幸
    • 学会等名
      電子情報通信学会 2021年3月福祉情報工学研究会
    • 関連する報告書
      2020 実施状況報告書
    • 招待講演
  • [学会発表] Development of Night Time Calling System by Eye Movement Using Wearable Camera2020

    • 著者名/発表者名
      Kazuki Sakamoto, Takeshi Saitoh, Kazuyuki Itoh
    • 学会等名
      HCI International 2020
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] Lip Reading using Facial Expression Features2020

    • 著者名/発表者名
      Tatsuya Shirakata, Takeshi Saitoh
    • 学会等名
      International Conference on Imaging, Vision & Pattern
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] ウェアラブルカメラを用いた目の動きによる夜間呼び出しシステムの開発2020

    • 著者名/発表者名
      坂本 一樹,齊藤 剛史,伊藤和幸
    • 学会等名
      FIT2020(第19 回情報科学技術フォーラム)
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 表情特徴を用いた読唇2020

    • 著者名/発表者名
      白方 達也,齊藤 剛史
    • 学会等名
      FIT2020(第19 回情報科学技術フォーラム)
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 3D-CNNを用いた神経難病患者の口形認識に関する研究2020

    • 著者名/発表者名
      中村 祐哉,齊藤 剛史,伊藤 和幸
    • 学会等名
      電子情報通信学会 2020年10月福祉情報工学研究会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 3D-CNNを用いた口形認識2020

    • 著者名/発表者名
      中村 祐哉,齊藤 剛史,伊藤 和幸
    • 学会等名
      サイレント音声認識ワークショップ2020
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 表情特徴を用いた読唇精度の向上2020

    • 著者名/発表者名
      白方 達也,齊藤 剛史
    • 学会等名
      サイレント音声認識ワークショップ2020
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 肢体不自由者の支援技術研究の歩み ~将来展望と課題について~2020

    • 著者名/発表者名
      伊藤 和幸
    • 学会等名
      電子情報通信学会 2019年10月福祉情報工学研究会
    • 関連する報告書
      2019 実施状況報告書
    • 招待講演
  • [学会発表] LSTMを用いた分類問題における判断根拠可視化の検討2019

    • 著者名/発表者名
      齊藤 剛史,徳永 旭将
    • 学会等名
      第22回 画像の認識・理解シンポジウム(MIRU2019)
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 神経難病患者の口形認識に関する研究2019

    • 著者名/発表者名
      中村 祐哉,齊藤 剛史,伊藤 和幸
    • 学会等名
      電子情報通信学会 2019年10月福祉情報工学研究会
    • 関連する報告書
      2019 実施状況報告書
  • [備考] クチヨミ

    • URL

      https://kuchiyomi.saitoh-lab.com/

    • 関連する報告書
      2022 実績報告書 2021 実施状況報告書 2020 実施状況報告書
  • [産業財産権] 顔合成読唇装置及び顔合成読唇方法2021

    • 発明者名
      齊藤剛史
    • 権利者名
      齊藤剛史
    • 産業財産権種類
      特許
    • 産業財産権番号
      2021-045840
    • 出願年月日
      2021
    • 関連する報告書
      2020 実施状況報告書
  • [産業財産権] 読唇装置及び読唇方法2019

    • 発明者名
      齊藤剛史
    • 権利者名
      齊藤剛史
    • 産業財産権種類
      特許
    • 産業財産権番号
      2019-213234
    • 出願年月日
      2019
    • 関連する報告書
      2019 実施状況報告書

URL: 

公開日: 2019-07-22   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi