• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Developing word retrieval assistance systems for people with aphasia based on conversation analysis in speech and language therapy

Research Project

Project/Area Number 16K00229
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Research Field Perceptual information processing
Research InstitutionChiba University

Principal Investigator

KUROIWA SHINGO  千葉大学, 大学院工学研究院, 教授 (20333510)

Co-Investigator(Kenkyū-buntansha) 堀内 靖雄  千葉大学, 大学院工学研究院, 准教授 (30272347)
Research Collaborator MURANISHI Sachiyo  
FURUKAWA Daisuke  
Project Period (FY) 2016-04-01 – 2019-03-31
Project Status Completed (Fiscal Year 2018)
Budget Amount *help
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2018: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2017: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2016: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywords失語症 / 呼称訓練 / 慢性期 / コミュニケーションロボット / タブレット / ACC / 語想起支援 / 音声認識 / 語想起 / PACE / 話者認識 / PACE / 音声言語処理 / 言語聴覚士 / コミュニケーション支援 / 音声対話
Outline of Final Research Achievements

We have developed a naming practice application for a communication robot, Pepper, which enables highly frequent and continuous training for people with aphasia. Field trials more than one year at a hospital and at a patient's home show the communication robot therapy was effective to recover their naming ability even in the chronic phase.
We analyzed the conversations in speech and language therapy, and systematized the word retrieval strategy by STs. Based on the strategies, we have developed some word retrieval assistance systems and conducted field trials. A video-based app that explains how to use the nurse call, “Virtual Home” app that supports to recall the object name by the place cue, and word retrieval assistance app by yes/no questions were effective to recall the words for people with aphasia. We proposed a query generation algorithm that finds the wanted object in the candidate list with the least number of questions under the condition that includes wrong answers.

Academic Significance and Societal Importance of the Research Achievements

本研究のフィールドテストにより、失語症を持つ人に対してICT機器による高頻度の言語訓練に有効性が認められたことから、絵カードを用いた呼称訓練アプリ「ActVoice Smart」(Androidタブレット・iPad向け)を技術移転先企業を通じ無償公開することができた。さらに、「ActVoice for Pepper」(対話ロボット)や「ハナセル」(言語訓練タブレット:絵カードを用いた呼称訓練に加え、思い出し支援の技術を活かしたヒント提示による語想起訓練を含む)を千葉大学知財活用ベンチャーを通じて社会実装するに至った。

Report

(4 results)
  • 2018 Annual Research Report   Final Research Report ( PDF )
  • 2017 Research-status Report
  • 2016 Research-status Report
  • Research Products

    (39 results)

All 2019 2018 2017 2016 Other

All Journal Article (7 results) (of which Peer Reviewed: 3 results) Presentation (27 results) (of which Int'l Joint Research: 3 results,  Invited: 2 results) Remarks (5 results)

  • [Journal Article] Bone- and air-conduction speech combination method for speaker recognition2019

    • Author(s)
      Tsuge Satoru、Kuroiwa Shingo
    • Journal Title

      International Journal of Biometrics

      Volume: 11 Issue: 1 Pages: 35-35

    • DOI

      10.1504/ijbm.2019.096565

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Journal Article] コミュニケーションロボットを用いた失語症者向け絵カード呼称訓練システム2019

    • Author(s)
      黒岩眞吾, 堀内靖雄,古川大輔,村西幸代,石畑恭平,森本暁彦
    • Journal Title

      電子情報通信学会論文誌A

      Volume: J102-A Pages: 128-132

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Speaker Recognition in Orthogonal Complement of Time Session Variability Subspace2018

    • Author(s)
      Tsuge Satoru、Kuroiwa Shingo
    • Journal Title

      Intelligent Interactive Multimedia Systems and Services. KES-IIMSS-18 2018. Smart Innovation, Systems and Technologies

      Volume: 98 Pages: 103-109

    • DOI

      10.1007/978-3-319-92231-7_11

    • ISBN
      9783319922300, 9783319922317
    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Journal Article] ICTを用いた言語訓練と支援2018

    • Author(s)
      黒岩眞吾,村西幸代,古川大輔
    • Journal Title

      総合リハビリテーション

      Volume: 46 Pages: 525-532

    • Related Report
      2018 Annual Research Report
  • [Journal Article] ICTを活用した失語症者支援:タブレットとロボットを用いたコミュニケーション支援・訓練システム2017

    • Author(s)
      黒岩 眞吾
    • Journal Title

      コミュニケーション障害学

      Volume: 34 Pages: 22-28

    • Related Report
      2017 Research-status Report
  • [Journal Article] 会話ロボットを用いた失語症者向け絵カード呼称訓練システム2017

    • Author(s)
      黒岩 眞吾, 堀内 靖雄, 村西 幸代, 古川 大輔, 石畑 恭平, 森本 暁彦
    • Journal Title

      電子情報通信学会技術報告(HCGSYMPO)

      Volume: HCGSYMPO

    • Related Report
      2017 Research-status Report
  • [Journal Article] 失語症者向け言語訓練及び意思疎通支援システムの研究開発2017

    • Author(s)
      黒岩眞吾
    • Journal Title

      千葉大学ベンチャービジネスラボラトリー年報

      Volume: 17 Pages: 15-18

    • Related Report
      2016 Research-status Report
  • [Presentation] AWA LONG-TERM RECORDED SPEECH CORPUS AND ROBUST SPEAKER RECOGNITION METHOD FOR SESSION VARIABILITY2018

    • Author(s)
      Satoru Tsuge, Shingo Kuroiwa
    • Organizer
      Oriental COCOSDA 2018
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 当院外来でのICT機器による遠隔言語訓練の試み2018

    • Author(s)
      村西幸代, 古川大輔, 石畑恭平, 森本暁彦, 黒岩眞吾
    • Organizer
      第44回 日本コミュニケーション障害学会学術講演会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Yusuke Nakahara, Yasuo Horiuchi, Shingo Kuroiwa,"Questioning Strategy for Helping People with Aphasia to Retrieve Words2018

    • Author(s)
      Yusuke Nakahara, Yasuo Horiuchi, Shingo Kuroiwa
    • Organizer
      第17回情報科学技術フォーラム
    • Related Report
      2018 Annual Research Report
  • [Presentation] 構音障害者の発声訓練のための音声認識を用いた発声速度測定手法の検討2018

    • Author(s)
      厚東昌宏
    • Organizer
      電気学会東京支部主催 第9回学生研究発表会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 聴取者が音声から受け取る感情を認識する手法の検討2018

    • Author(s)
      柴尾一成
    • Organizer
      電気学会東京支部主催 第9回学生研究発表会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 遠隔リハビリで言語訓練を実施するためのタブレットを使ったシステムの提案2018

    • Author(s)
      安啓一, 黒岩眞吾, 廣實真弓
    • Organizer
      第18回日本言語聴覚学会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 遠隔リハビリの適応についての予備研究:てんかん性健忘患者1例に行った介入2018

    • Author(s)
      廣實真弓, 安啓一, 黒岩眞吾, 渡辺雅子
    • Organizer
      第18回日本言語聴覚学会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 自己申告気分値と音響特徴量の関係の分析2017

    • Author(s)
      西垣 俊基, 堀内 靖雄, 黒岩 眞吾
    • Organizer
      電子情報通信学会総合大会
    • Place of Presentation
      名城大学, 名古屋市
    • Year and Date
      2017-03-22
    • Related Report
      2016 Research-status Report
  • [Presentation] 状況による話者内音声変動に頑健な話者識別手法2017

    • Author(s)
      橋本 哲平, 堀内 靖雄, 黒岩 眞吾
    • Organizer
      電子情報通信学会総合大会
    • Place of Presentation
      名城大学, 名古屋市
    • Year and Date
      2017-03-22
    • Related Report
      2016 Research-status Report
  • [Presentation] データ拡大による時期差に頑健な話者識別2017

    • Author(s)
      服部佑生,堀内靖雄,黒岩眞吾
    • Organizer
      日本音響学会2017年春季研究発表会
    • Place of Presentation
      明治大学, 川崎市
    • Year and Date
      2017-03-15
    • Related Report
      2016 Research-status Report
  • [Presentation] ICT 機器による言語訓練の可能性を考える ― ICT ロボットによる言語訓練の試み ―2017

    • Author(s)
      村西 幸代, 古川 大輔, 石畑 恭平, 森本 暁彦, 黒岩 眞吾
    • Organizer
      第43回 日本コミュニケーション障害学会 学術講演会
    • Related Report
      2017 Research-status Report
  • [Presentation] 簡易 AAC アプリ『 スイッチボイス 』の開発2017

    • Author(s)
      古川 大輔, 村西 幸代, 石畑 恭平, 森本 暁彦, 黒岩 眞吾
    • Organizer
      第43回 日本コミュニケーション障害学会 学術講演会
    • Related Report
      2017 Research-status Report
  • [Presentation] 咽喉マイクを使用した摂食嚥下健診用アプリの開発2017

    • Author(s)
      古川 大輔, 村西 幸代, 石渡 智一, 長尾 圭祐, 根本 雅也, 香川 哲, 高山 亜希子, 山下 大貴, 西田 昌史, 西村 雅史, 黒岩 眞吾
    • Organizer
      第18回日本言語聴覚学会
    • Related Report
      2017 Research-status Report
  • [Presentation] 失語症者向けナースコールアプリによるトイレ自立に向けた訓練の試み2017

    • Author(s)
      村西 幸代, 古川 大輔, 金子 孝輝,松下 みのり, 黒岩 眞吾
    • Organizer
      第18回日本言語聴覚学会
    • Related Report
      2017 Research-status Report
  • [Presentation] ナースコール使用のための言語訓練 ~失語症者向けナースコールアプリの開発~2017

    • Author(s)
      村西 幸代, 古川 大輔, 金子 孝輝, 松下 みのり,黒岩眞吾
    • Organizer
      第57回全国国保地域医療学会
    • Related Report
      2017 Research-status Report
  • [Presentation] 急性期患者への簡易AAC(代替拡大コミュニケーション機器)導入訓練2017

    • Author(s)
      古川 大輔, 村西 幸代, 石畑 恭平, 森本 暁彦, 黒岩 眞吾
    • Organizer
      第57回全国国保地域医療学会
    • Related Report
      2017 Research-status Report
  • [Presentation] 咽喉マイクを使用した摂食嚥下健診用アプリの開発2017

    • Author(s)
      古川 大輔 , 村西 幸代, 石渡 智一, 長尾 圭祐, 根本 雅也, 香川 哲, 高山 亜希子, 山下 大貴, 西田 昌史, 西村 雅史, 黒岩 眞吾
    • Organizer
      第56回全国自治体病院学会
    • Related Report
      2017 Research-status Report
  • [Presentation] 就労を目指すてんかん患者に対し遠隔リハビリで言語訓練を実施するためのシステムの提案2017

    • Author(s)
      安啓一, 黒岩眞吾, 廣實真弓
    • Organizer
      第51回日本てんかん学会学術集会
    • Related Report
      2017 Research-status Report
  • [Presentation] 多種マイクロフォン併用による話者認識2017

    • Author(s)
      柘植覚, 黒岩眞吾
    • Organizer
      第7回バイオメトリクスと認識・認証シンポジウム
    • Related Report
      2017 Research-status Report
  • [Presentation] Naming practice app on tablets and communication robots for people with aphasia2017

    • Author(s)
      Shingo Kuroiwa, Yasuo Horiuchi, Sachiyo Muranishi, Daisuke Furukawa, Kyohei Ishihata, Akihiko Morimoto
    • Organizer
      The 2nd International End-of-life Care Symposium
    • Place of Presentation
      千葉大学, 千葉市
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] 情報通信技術を利用した失語症者向け言語訓練及びコミュニケーション支援技術2017

    • Author(s)
      黒岩 眞吾
    • Organizer
      放送文化基金・研究報告会2017
    • Place of Presentation
      ホテルルポール麹町, 東京
    • Related Report
      2016 Research-status Report
    • Invited
  • [Presentation] タブレットを用いた喚語訓練及び支援システム2016

    • Author(s)
      松下 みのり, 金子 孝輝, 黒岩 眞吾, 堀内 靖雄, 村西 幸代, 古川 大輔
    • Organizer
      HCGシンポジウム2016
    • Place of Presentation
      高知市文化プラザかるぽーと, 高知市
    • Year and Date
      2016-12-07
    • Related Report
      2016 Research-status Report
  • [Presentation] Naming practice app on tablets and communication robots for people with aphasia2016

    • Author(s)
      Shingo Kuroiwa, Yasuo Horiuchi, Sachiyo Muranishi, Daisuke Furukawa, Kyohei Ishihata, Akihiko Morimoto, Hiroji Suzuki
    • Organizer
      5th Joint Meeting of the Acoustical Society of America and Acoustical Society of Japan
    • Place of Presentation
      Hilton Hawaiian Village Waikiki Beach Resort, Honolulu, U.S.A.
    • Year and Date
      2016-11-28
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] 絵カード呼称訓練アプリActVoiceSmartの音声認識性能の評価2016

    • Author(s)
      黒岩眞吾、堀内靖男、村西幸代、古川大輔、鈴木弘二、石畑恭平、森本暁彦
    • Organizer
      第17回日本言語聴覚学会
    • Place of Presentation
      ロームシアター京都・京都市勧業館みやこめっせ, 京都市
    • Year and Date
      2016-06-10
    • Related Report
      2016 Research-status Report
  • [Presentation] 失語症者向け喚語支援アプリの開発2016

    • Author(s)
      松下みのり, 黒岩眞吾, 堀内靖雄, 中原悠佑, 古川大輔, 村西幸代
    • Organizer
      第42回コミュニケーション障害学会学術講演会
    • Place of Presentation
      千葉県文化会館, 千葉市
    • Year and Date
      2016-05-14
    • Related Report
      2016 Research-status Report
  • [Presentation] ICTを活用した失語症者支援2016

    • Author(s)
      黒岩眞吾
    • Organizer
      第42回コミュニケーション障害学会学術講演会
    • Place of Presentation
      千葉県文化会館, 千葉市
    • Year and Date
      2016-05-14
    • Related Report
      2016 Research-status Report
    • Invited
  • [Presentation] ロボットやタブレットを活用した『失語症者向け言語訓練システム』2016

    • Author(s)
      黒岩眞吾
    • Organizer
      千葉エリア産学官連携オープンフォーラム2016
    • Place of Presentation
      千葉大学, 千葉市
    • Related Report
      2016 Research-status Report
  • [Remarks] 絵カードを使った言語訓練

    • URL

      https://actvoice.sakura.ne.jp

    • Related Report
      2018 Annual Research Report
  • [Remarks] (1) 『ロボットと失語症の言語リハビリを! 言葉の思い出しも支援』(特色ある研究活動の成果)

    • URL

      http://www.chiba-u.ac.jp/research/coe_gp/result/engineering/result24.html

    • Related Report
      2017 Research-status Report
  • [Remarks] (2) ActVoice Smart

    • URL

      https://itunes.apple.com/us/app/actvoice-smart/id1188615650?mt=8

    • Related Report
      2017 Research-status Report
  • [Remarks] (3) ActVoice Smart

    • URL

      https://play.google.com/store/apps/details?id=jp.co.escor.actvoicesmart&hl=ja

    • Related Report
      2017 Research-status Report
  • [Remarks] (4) 株式会社ロボキュア

    • URL

      http://robocure.jp/

    • Related Report
      2017 Research-status Report

URL: 

Published: 2016-04-21   Modified: 2020-03-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi