2016 Fiscal Year Research-status Report
言語聴覚士の会話技術の分析に基づく失語症者の単語思い出し支援手法
| Project/Area Number |
16K00229
|
|---|
| Research Institution | Chiba University |
|---|
Principal Investigator |
黒岩 眞吾 千葉大学, 大学院融合科学研究科, 教授 (20333510)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
堀内 靖雄 千葉大学, 大学院融合科学研究科, 准教授 (30272347)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 失語症 / コミュニケーションロボット / 呼称訓練 / ＰＡＣＥ / 語想起 / 音声認識 |
|---|
| Outline of Annual Research Achievements |
失語症者にロボットが受け入れられるかを調査するために、絵カード訓練アプリをPepperに実装し、君津中央病院と失語症者宅で長期にわたりフィールドテスト実施した。病院で実施した4名の失語症者（慢性期）を対象とした実験では、訓練語に対する呼称正解率の有意な向上が3名で観測された。さらに、病院の実験で向上の見られなかった1名に自宅で自主的な訓練を続けてもらったところ、20分程度の訓練がほぼ毎日実施され、3ヶ月後には訓練語に対して90 ％の呼称正解率が得られた。このことから、慢性期でも高頻度の継続的な訓練により言語能力の改善が期待できる可能性が見えてきた。また実験において4名全員が同じ絵カードを何度も繰り返し練習していた点が印象的であった。これは、言語聴覚士（ＳＴ）等、人相手に訓練を行う場合、なかなか発声できないことや、同じ絵カードで何度も訓練することを、相手に申し訳ないと感じてしまう一方、ロボットが相手であれば気兼ねなく何度でも同じことをやってもらって構わないと感じたことによるものである。この事実の発見は、今後、ロボットやタブレットを活用した言語訓練や支援において人よりも機械が良いところとして非常に重要な点である。
思い出し支援システムを実現するために、Word-Netを用いた質問用データベースの自動生成を試み、それに基づくシステムを構築し予備的な実験を実施した。その結果、「質問の意味（使われている用語）がわからない」という問題が生じた。そのため、高齢の方が多い失語症者にとって親密度の高い用語での概念辞書の構築が必要なことが明らかとなった。また、ＳＴと失語症者の対話分析から、ＳＴが冗長な質問も行いながら失語症者との信頼関係を保ちつつ対話を進めていることが明らかとなった。今後、思い出し支援システムにおいても対話回数最小化に加え信頼度も加味した質問生成手法を検討していく。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
フィールドテストにおいて、コミュニケーションロボットが失語症の方に受け入れられることや、人間とは異なる良さがロボットによる言語訓練におてい発見できたことの意義は大きかった。
一方で、Word-Netを利用した質問はユーザもとってわかりにくい語による質問となってしまい、ユーザに受け入れられないことが明らかとなった。これにより、質問のためのデータベース作成において大幅な手法の改良が必要となった。
言語聴覚士と失語症者との対話のデータベース化においては、複数の映像（対話者、対話時に使う描画）を記録する必要があり、アノテーションの方法に検討が必要となった。その結果、映像収録は順調に進んだが、アノテーションをルーチンワークとして実施するに至らなかった。
|
| Strategy for Future Research Activity |
言語聴覚士（ＳＴ）と失語症者の会話分析では、2台のカメラ（1台は超広角レンズによる対話者2名を撮影、1台は意思疎通のために書字、描画を行う卓上の紙を撮影）で対話を録画し、事後的に同期をとった上でELANによりアノテーションを行う。分析では特に、会話における共通基盤形成がどのようになされているか、また、そのためにどの程度、どのようなタイミングでＳＴ側から冗長な質問が生成されているかを分析する。
思い出し支援システム対話アルゴリズムの研究では、上述の分析結果を踏まえ、それまでの質問回答に基づき失語症者のシステムに対する信頼度を数値化する検討を行う。また、失語症者にとって分り易い質問を生成するためのデータベース構築法についても検討を行う。29年度はこれらを統合しタブレット上でシステムを構築することが目標となる。並行して話者認識技術を用いた、話者名思い出し支援システムの検討も実施する。特に、マイクと発声者の距離が遠いという条件下で、読み上げではなく日常会話での話者認識の精度をいかに向上させるかが課題である。また、28年度の予備的な実験で物品が置かれている場所を手掛かりにした思い出し支援が有効な可能性が見いだされたため、29年度にシステムを作成し評価実験を行う予定である。
思い出し支援会話ロボットの研究開発では、料理名及び身の回りの品に対するデータベースを人手で作成し、一連の会話を実現できる機能を構築する。29年度は構築した機能をロボットに搭載し予備的な実験を病院で行い、失語症者と会話が成立するか等の基本的な検証を実施することが目標となる。現在、ロボットとしてソフトバンク社のペッパーで検討を進めているが、28年度の実験で自宅では大きすぎるとの声も多かったことから、卓上型のロボットの活用も検討する。また、構音障害のある音声も収集し音声認識における問題点も明らかにしていく。
|
| Causes of Carryover |
2016年12月に研究代表者が参加・発表予定だった国際会議1件及び国内会議1件があったが、急病のため出張をキャンセルせざるを得ず、他の予算で出張している共著者に代理発表をしてもらった。これにより旅費の一部を次年度に繰り越すこととした。また、購入予定だったロボットの発売が延期されたことにより物品費の使用ができなかった。また、会話音声の分析において収録までは実施できたが、アノテーションのマニュアル化が遅れたため雇用によるアノテーションを実施するに至らなかった。
|
| Expenditure Plan for Carryover Budget |
本年度は2件の国際会議発表（当初計画では1件）を予定している。また、購入予定のロボットは夏にリリースされる予定であり購入を計画している。録画・録音データのアノテーションについては、複数人を雇用し遅れを取り戻す。
|
-
-
-
-
-
-
-
-
-
-
-
[Presentation] 失語症者向け喚語支援アプリの開発2016
Author(s)
松下みのり, 黒岩眞吾, 堀内靖雄, 中原悠佑, 古川大輔, 村西幸代
Organizer
第42回コミュニケーション障害学会学術講演会
Place of Presentation
千葉県文化会館, 千葉市
Year and Date
2016-05-14 – 2016-05-15
-
