Deep neural network model for anomic aphasia and the recovery process

2023 Fiscal Year Annual Research Report

• Project/Area Number: 20K11860
• Research Institution: Chiba University
• Principal Investigator: 黒岩 眞吾 千葉大学, 大学院工学研究院, 教授 (20333510)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Keywords: 語連想 / 深層学習 / 大規模言語モデル / プロンプトエンジニアリング / in-context-learning / シャープレイ値 / chatGPT / 失語症言語訓練教材

Outline of Annual Research Achievements

本研究課題では，回復過程を含む失語症の症状のモデル化を目指して，人間の語から語の連想を模擬する深層学習モデルの構築を目的に研究を実施した．具体的には失語症の訓練教材にある，複数のヒント（刺激語）から正解語を答える連想ゲームタイプの課題と，１つの刺激語から自由に連想した１語を応える課題を対象にモデル化を試みた．当初の最終年度の前半までは既存の深層言語モデルを用いると共に，人の学習を模したモデルを新たに提案し語連想タスクの精度向上を図った．その結果，連想ゲームタイプの課題に対して提案モデルが既存のモデルに比べ高い語連想精度を達成した．一方で自由連想課題ではいずれのモデルを用いても人の模擬に至る精度は得られなかった．その後，回復期のモデル化を目指して，提案したモデルの一部を破壊した上で効率良く再学習を行う手法の検討に着手した時点でchatGPTが公開された．そこで，chatGPTを語連想タスクに適用したところ，検討してきた全てのモデルの語連想精度を凌駕することが明らかとなり，学習データ量が一桁少ないそれまでの深層学習言語モデルを用いた研究の意味は消失した．また，数千億パラメータを持つGPTモデルの一部を破壊し再学習を行うためのリソースは無かった．そこで期間延長した最終年度には，各刺激語の貢献度算出法や連想理由説明手法を検討した．その結果，連想ゲームタイプ課題として適切な刺激語を選択するための指標を明らかにした．また，自由連想課題では自動生成した一部誤りを含む連想理由データでchatGPTをin context learningする手法により，適切な連想理由を提示する率を大幅に向上させた．これらの成果は失語症向け言語訓練教材の作成や訓練時の言語聴覚士の支援ツールとして活用可能である．一方で，回復過程のモデル化に対しては膨大なリソースを確保した上で改めて研究を開始する必要がある．