2022 Fiscal Year Research-status Report
Deep neural network model for anomic aphasia and the recovery process
| Project/Area Number |
20K11860
|
|---|
| Research Institution | Chiba University |
|---|
Principal Investigator |
黒岩 眞吾 千葉大学, 大学院工学研究院, 教授 (20333510)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 失語症 / 語想起 / 語連想 / BERT / 深層学習 / SHAP / 言語訓練教材 / 言語訓練アプリ |
|---|
| Outline of Annual Research Achievements |
(1)人の語連想の自己学習過程を模倣するニューラルネットワークとして，１語から５語を想起するネットワークと５語から１語を想起するネットワークを結合したself-supervised learningが可能な深層学習モデルの検討を行った．この構成はDeep Auto-Encoderと呼ばれる構造であるが，中間層で情報圧縮するのではなく，情報を拡張する点に特徴がある．そのため，評価関数は元の１語に戻ることに加え，中間層で出力される５語が元の１語を含まず，かつ，多様性に富んだ語となる必要があると考え，離散隔離分布を中心に様々な評価関数を検討した．また，全結合型に加え，Transformer型も検討した．実験では，教師あり学習データに『連想語頻度表』（300語）を，教師なしデータに出現頻度の高い約8000語を用いて半教師あり学習を行った．実験の結果，１語から５語の語連想では，上位５語中0.45語で人の連想に含まれる語を出力できた．一方で，５語から１語の連想の精度は低く，デコーダ側の改良が必要であることが明らかとなった．
(2)これまでは公開されているBERTを用いてきたが，語連想タスクを想定したBERTの学習を試みた．これにより，１語から５語の語連想において，５語中0.41語で人の連想に含まれる語を出力できた(昨年度は0.38語)．一方で，５語から１語の語連想では各刺激語の貢献度であるシャープレイ値の改良版の検討を行うとともに，カテゴリー指定語の効果を確認した．また，語連想手法の評価を行うための語連想Webアプリの開発も行った（語想起の失語症教材としての利用も可能）．
(3) 人が２つの単母音音声を聞いて同一の話者の発声であるかを判定する機構を模したDNNを単語音声に拡張した．その結果，0.3秒から1秒の単語発声で98%から99%の正解率を得た．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
COVID19感染状況の影響で，病院での言語聴覚士による失語症を持つ人の言語訓練時のデータ収集を行うことができなかった．また，代表者の体調不良やCOVID19感染状況により出張を伴う成果発表ができなかった．
|
| Strategy for Future Research Activity |
(1)人の語連想の模擬に対しては，表層的な学習だけでなく，語と語の包含関係を表現可能なWord2Box等のモデルを検討する．この際，BERTによる語連想で精度向上に有用だったカテゴリー指定語を推論に活用する手法も検討する．また，１段目のネットワークで複数の候補語を含む部分空間を出力（漠然とした連想）した上で，２段目のネットワークで部分空間から適切な語を選定する（連想の具体化）Answer Selectionを模した手法の検討も行う．さらに，複数の刺激語から１語の連想を対象に，組み合わせを考慮した上で各刺激語の貢献度を算出する手法を，また，刺激語１語から複数語の連想を対象に，各連想語の予測確率の信頼性を算出する手法を検討する．また，算出された値と，連想結果に対する人のフィードバックによる強化学習を行い，より人に近い連想語の出力を目指す．なお，当初計画してい，たネットワークの一部を破壊することで失語症を持つ人の模擬を行う計画は，語連想ネットワーク自体の模擬性能が未だ不十分なため，今年度も模擬性能の向上を主課題とする．
(2)2022年度に作成した語連想課題のWebアプリを「失語症教材チーム」のメンバーに提供し訓練教材としての改良を行う．また，今年度出版予定の『CD版そのまま使える失語症教材２』の出版にあわせて同アプリを公開し，言語訓練の現場で失語症を持つ人に利用してもらえる環境の構築を目指す．なお，当初計画していた病院での言語聴覚士による，失語症を持つ人を対象とした言語訓練時の語想起課題のデータ収集は，今年度も困難であることから，同アプリによるデータ収集で代替することを目指す．
(3)単語音声による話者照合タスクを対象に，話者の同一性を判定するDNNが単語音声中のどこに注目しているかを出力する手法を検討する．また，DNNの注目点と音声鑑定専門家との注目点の相違を調査する．
|
| Causes of Carryover |
「旅費」を計上していたが，研究代表者の体調不良，および，コロナの影響で出張を伴う国内外の学会発表に参加ができなかった．また，同様の理由で，病院でのデータ収集ができなかったため，収集のための「旅費」および「人件費・謝金」を使用しなかった．
2023年度は5月以降，通常通り出張が可能になることから国際会議発表を中心に「旅費」を使用する予定である．また，病院でのデータ収集は依然困難な状況のため，過去に撮影した言語訓練時のデータ等にアノテーションを行うために「人件費・謝金」を使用する予定である．また，それらの作業に伴う消耗品購入に「物品費」を，学会参加費に「その他」の予算を使用する予定である，
|
Research Products
(6 results)
