2017 Fiscal Year Research-status Report
言語聴覚士の会話技術の分析に基づく失語症者の単語思い出し支援手法
| Project/Area Number |
16K00229
|
|---|
| Research Institution | Chiba University |
|---|
Principal Investigator |
黒岩 眞吾 千葉大学, 大学院工学研究院, 教授 (20333510)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
堀内 靖雄 千葉大学, 大学院工学研究院, 准教授 (30272347)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 失語症 / コミュニケーションロボット / 呼称訓練 / ＰＡＣＥ / 語想起 / 音声認識 |
|---|
| Outline of Annual Research Achievements |
会話ロボット(Pepper)を用いた絵カード呼称訓練アプリを開発し病院及び失語症者宅で長期にわたるフィールドテストを継続中である．今年度はインターネットで訓練状況を把握したり絵カード入替を可能とするツールを実装した．慢性期の失語症者宅での利用では非訓練語に対する呼称の改善は見られなかったが，訓練語に対しては有意な呼称の改善を確認した．
失語症者の単語思い出し支援技術に関しては，利用者の満足度，システムに対する信頼度を考慮した質問生成アルゴリズムを考案しタブレットで動作するプロトタイプシステムを開発した．アルゴリズムの考案にあたっては，PACE言語訓練時の言語聴覚士(ST)と失語症者との対話を録画し分析を行うと共に，STに聞き取り調査を行った．その結果，従来からの知見である「はい・いいえ」で答えられる質問や排他的な絞り込み質問に加えて，確認を頻繁に実施していることが明らかとなった．また，否定の応答に対して，否定疑問文で確認を行い肯定的な回答を促していること，回答の信頼性を高めるために言い換えを行っていること，また絞り込みの正しさを確認する質問（「おしい？」等）等が観察された．これらを考慮し，情報量最大基準に加え，システムに対する利用者の信頼度をパラメータとして取り入れた質問生成アルゴリズムとした．実験では同アルゴリズムを失語症者と対話する人向けの支援ツールとして実装し評価を行った．その結果，非STに対して有用なツールとなることが明らかとなった．また，思い出し支援技術を会話ロボットに実装し予備的な実験を行った．その結果，多くの失語症者がロボットとの対話を楽しんでいることが確認され，実用化の見通しが得られた．また，場所を手掛かりとした思い出し支援アプリの評価実験を行いその有用性を確認した．話者認識技術を用いた話者名思い出し支援においては実環境での評価を実施し問題点を明らかにした．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
失語症者を対象に考案・設計した，会話ロボットによる絵カードを用いた呼称訓練システムが完成しフィールドテストによる言語訓練効果もほぼ明らかとなった．また，同システムによるデータ収集機能（音声を含む）も構築した．失語症者向け思い出し支援に関しても失語症者とＳＴの会話データの収集を行い，それらの分析結果に基づく満足度や信頼度を考慮した質問アルゴリズムがほぼ完成した．またプロトタイプシステムをタブレット上に構築し有用性も確認した．現在は，これらの技術の会話ロボットへの実装を進めている．場所を手掛かりとする思い出し支援についても有用性が明らかとなり学術的な課題の検討を終了し技術移転を行う方向である．これら以外に，AR技術や画像認識技術を用いた思い出し支援システムも検討した．
なお，話者認識を利用した音声からの話者名思い出し支援技術に関しては，ベースとなる話者認識の実環境（発声者からマイクまでの距離が１m以上，周囲で他の会話がなされれている）での認識率が不十分なことが明らかとなったため，話者認識自体の性能向上が今後の課題となっている．
|
| Strategy for Future Research Activity |
会話ロボット上で実現した絵カード呼称訓練アプリをタブレットに再移植し，会話型の呼称訓練システムを構築する．これによりPepperの導入が難しかった多くの失語症者に呼称訓練環境を提供するとともに，呼称訓練時の音声をネットワーク越しに収集できる環境が完成する．収集される音声は音声認識性能の向上，構音の崩れの検出等に活用する予定であり，呼称訓練の高度化のみならず関連研究の発展につながるものである．関連してSTがテレビ会議システムを使い遠隔で言語訓練を行う場合に利用しやすいICT機器の検討も進める．
質問応答対話に基づく思い出し支援技術においては，局所的な情報量だけではなく正解候補が提示されるまでの対話全体のコストを考慮した最適質問生成アルゴリズの検討を行う．このアルゴリズムを昨年度開発した，満足度や信頼性を考慮したアルゴリズムと統合し思い出し支援のための対話戦略を完成させる．また，思い出し支援技術を応用した語想起訓練アプリも開発する．これは，想起させたいモノに関連する情報をシステム側から失語症者に提示しその情報から想起される語を回答させ正誤を判定するアプリである．数十品目に対し人手により質問を設定したプロトタイプシステムを作成し実際に失語症者に使ってもらうフィールドテストを行う．並行して，タブレット上で実現する語想起訓練アプリとディスプレイを所持しない小型ロボットとを連動させた対話型訓練システムの検討も行う．特にロボットを用いることでタブレット単体と比較してモチベーションや満足度等をどの程度向上させることができるかを中心に検討を行う．
話者認識を利用した話者名思い出し支援技術に関しては，昨年度，実環境における話者認識性能自体に問題があることが明らかとなったため，マイクまでの距離に起因する周波数特性の違いや雑音の混入，話者自体の発声スタイルの違いに頑健な話者認識手法の検討を行なう．
|
| Causes of Carryover |
「物品費」に計上していた，小型会話ロボットの発売が延期されてしまったため購入が遅れ，平成30年4月の購入となった。また、「人件費・謝金」に計上していた，このロボットをターゲットとした思い出し支援アルゴリズムの実装を平成30年度前期に実施することとした．
国際会議に投稿し採択され発表を予定していたが，会議の主催元に疑義が生じキャンセルすることとなった。平成30年5月及び6月に開催される国際会議２件に投稿し採択され発表が決まっている（「旅費」及び「その他」（会議参加費））。加えて1件の国際会議への投稿・発表を予定している。また，「その他」に計上していた論文掲載料は現在投稿中の２件の論文（うち1件はHCGシンポジウム推薦論文）が採択され平成31年1月に掲載が決定した段階で支払う予定である．
|
| Remarks |
(2)(3)は技術移転した技術を製品化したアプリのページである。
(4)は知的財産を移転し、共同研究をおこなっている会社のホームページである。
|
-
-
-
-
-
[Presentation] 咽喉マイクを使用した摂食嚥下健診用アプリの開発2017
Author(s)
古川 大輔, 村西 幸代, 石渡 智一, 長尾 圭祐, 根本 雅也, 香川 哲, 高山 亜希子, 山下 大貴, 西田 昌史, 西村 雅史, 黒岩 眞吾
Organizer
第18回日本言語聴覚学会
-
-
-
-
[Presentation] 咽喉マイクを使用した摂食嚥下健診用アプリの開発2017
Author(s)
古川 大輔 , 村西 幸代, 石渡 智一, 長尾 圭祐, 根本 雅也, 香川 哲, 高山 亜希子, 山下 大貴, 西田 昌史, 西村 雅史, 黒岩 眞吾
Organizer
第56回全国自治体病院学会
-
-
-
-
-
-
