| 研究課題/領域番号 |
20K11860
|
|---|
| 研究機関 | 千葉大学 |
|---|
研究代表者 |
黒岩 眞吾 千葉大学, 大学院工学研究院, 教授 (20333510)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2023-03-31
|
| キーワード | 失語症 / 語想起 / 語連想 / BERT / 深層学習 / SHAP / 言語訓練教材 / 言語訓練アプリ |
|---|
| 研究実績の概要 |
(1) 昨年に引き続き語想起（提示された一つの刺激語に対し，単語を自由に連想するタスク：広げる想起）を模擬する手法の検討を行った．今年度は，深層言語モデルBERTに加え，Google画像検索＋Microsoft 画像認識APIを用いて，刺激語から画像を検索・取得した上で刺激語のオブジェクトを認識し，その色情報を追加して連想を行う手法を試みた．その結果，人が色を連想する刺激語に対しては心象色と実際の色が異なるものを除き，高い精度で連想できた．一方で，人が色を連想しない刺激語に対しても色を上位に連想する副作用が生じた．次に，複数の刺激語から一語を回答させる失語症向け訓練教材（まとめる想起）を用いてBERTによる語連想実験を行なった．その結果，教材中５割の課題で正解を得た（課題のカテゴリーにより正解率が大きく異なる）．また，まとめる想起においてSHAPをBERTに適用した，語想起を解釈する手法を考案し，Attentionに比べより直感にあった解釈が可能であることを示した．
(2) 「失語症教材チーム」に協力して，名詞の聴理解の改善を目的とするインタラクティブな訓練アプリを作成するとともに，言語聴覚士(ST)が独自のカードを簡単に追加できるようマニュアルを整備した．また，広げる想起のデータ収集用のWebアプリとVBAを利用したオフラインアプリを試作し，評価試験を実施した．その結果，オフラインアプリの有用性が高いとのSTらの判断から同アプリを改良し公開を目指すこととなった．
(3) 人が２つの単母音声を聞いて同一の話者の発声であるかを判定する機構を模したDNNの検討を行なった．その結果，任意の母音に対して同一のDNNで95%の正解率を得た．これは，母音の種類を判定する機構と話者の同一性判定を行う機構が独立であることを示唆していると我々は解釈しており，今後も検討を進める．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
対面での打ち合わせが困難だったため，人を対象とした実験に基づくデータ収集ができず，また，渡航制限等もあり国際会議での発表ができなかった．また，公開されている学習済みのニューラルネットワークによる語連想の精度が低かったことから，一部を破壊する対象となるニューラルネットワーク自体も独自に開発する必要が生じた．
|
| 今後の研究の推進方策 |
(1) 語連想の模擬については，これまで学習済みの汎用言語モデル(BERT)を用いてきたが，精度の向上を図るため連想をタスクとした学習を行う．この際，ラベル付き学習データの構築が困難なことからself-supervised learning を試みる．具体的にはBERTをベースに，広げる想起とまとめる想起を組み合わせることで，MASKタスクの性能を維持しつつ語連想精度を向上させる手法を検討する．また，昨年度の画像を経由した連想実験の結果から，損失関数の重要性が示唆されたため，概念間の距離に相当する損失や，多様性を考慮した損失等を検討する．なお，この学習を効率よく行うために記憶量の大きいGPUを購入する．また，昨年度の検討で有用性が認められたSHAPをベースとした解釈モデルをDNNの任意の層の解釈に適用するための方法を検討する．その上で，特定の層のみを破壊（値のランダム化，及び，ノードやアークの除去）し，連想精度の低下の特徴が解釈と一致しているかを調査するとともに，失語症の症状との相違を調査する．また，破壊されたDNNを少数データで再学習しリカバリーする手法の検討を開始する．
(2) 引き続き「失語症教材チーム」に協力して，インタラクティブな失語症向け言語教材の作成を行う．また，コロナの問題がなくなれば，作成した語連想教材アプリを利用し，失語症を持つ方の利用データを収集したい．
(3) 話者の同一性を判定するDNNを解釈する手法を検討する．特に，中間の層で母音の種類ごとに活性化する部位が異なるかを調査する．また，科学警察研究所の音声鑑定の専門家にDNNが注目している音声区間や特徴量を提示し，DNNと人の注目点の相違を調査する．
|
| 次年度使用額が生じた理由 |
深層学習に使用するGPUの高騰および入手困難状況が続き年度内に購入できなかった．また，国内および国際会議での発表を想定して旅費を計上していたが，COVID19の影響で移動を伴う発表ができなかったため旅費を使用しなかった．
新年度になって，GPUの供給も安定しつつあることから，高騰分は旅費の一部を物品費に変更することで入手可能であると考えている．国際会議への出張を伴う参加は，本学においては9月までは推奨されない状況であるが，10月以降は好転するとの期待から投稿の準備を進めており，未発表の研究成果を順次発表したいと考えている．
|
