2019 Fiscal Year Annual Research Report
Realization of Universal Design Society: Artificial Intelligence Dialogue System that Reproduces People with Pragmatic Language Disorders
| Project/Area Number |
19J23735
|
|---|
| Research Institution | Future University-Hakodate |
|---|
Principal Investigator |
矢吹 渓悟 公立はこだて未来大学, システム情報科学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2019-04-25 – 2022-03-31
|
| Keywords | 語用障害 / 定型発達者 / 対話システム / コミュニケーション支援 / 自閉症スペクトラム障害 |
|---|
| Outline of Annual Research Achievements |
本研究は，語用障害をかかえる人（主に自閉症スペクトラム障害および社会的（語用論的）コミュニケーション障害の方）と定型発達者（健常者）のコミュニケーションの破綻の問題を定型発達者側から改善するために，語用障害をかかえる人を再現したシステムを開発する．なお，第一プロトタイプとして，語用障害に該当する特徴のうち，発話を字義通りの意味として理解する特徴から指示語および慣用表現の理解の困難さ，視線移動（目くばせ）およびジェスチャー（身振り手振り）の理解の困難さ，ならびに明確化要求の表出について再現する．
昨年度は，システムの設計と調査をおおむね完了し，開発に着手した．事例の収集状況として，第一プロトタイプで再現する特徴のうち，慣用表現の事例はおおかた収集でき，その他の特徴についても収集した事例から類推できる範囲で開発を行える状況に到達した．本システムは，定型発達者が「HoloLens 2」を用いて，語用障害をかかえる人役の3Dキャラクターとの会話を通して会話のトレーニングを行い，さらにトレーニング中の定型発達者の話し方に対する語用障害をかかえる人の思考内容（思い・考え）を，語用障害をかかえる人の立場から疑似体験することができる．また，本システムは現実の環境を認識でき，３Ｄキャラクターなどを現実の空間にうまく溶け込ませることができるため，会話のシチュエーションを現実の状態に近づけてトレーニングを行うことができる．さらに，語用障害の特徴ごとに障害の程度（重度・中程度・軽度・定型発達者レベル）の変更や，語用障害をかかえる人の年齢層や性別の調整，さらには３Ｄオブジェクトを追加して会話に必要なモノを用意することや，背景（公園や学校など）を差し替えることで，定型発達者がいる環境下では体験することができない会話状況でのトレーニングが可能など，様々なシチュエーションの会話を体験することができる．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
現在までの進捗状況として，システムの設計と調査をおおむね完了し，開発に着手した．
しかしながら，2019年度の交付申請書の研究実施計画に記載した事例収集方法のうち，オンラインで事例を安定して収集できるシステムの年度内の構築が間に合わなかった．もちろん，このシステムがなくとも事例を十分に収集できるなら問題ないが，社会情勢の影響から年度の後半に定型発達者へのインタビューから事例を収集することがほぼ不可能となり，事例を収集するにはオンラインでの事例収集システムの構築が必須であったため，進捗が遅れ気味と評価した大きな理由である．
ただし，第一プロトタイプで再現する特徴のうち，特に慣用表現に関する事例はおおかた収集できており，その他の特徴についても事例数自体は少ないが，その事例から類推できる範囲で開発は行えるため，完全に遅れてはいないと判断した．
|
| Strategy for Future Research Activity |
第一プロトタイプの完成後，語用障害をかかえる人の再現度および学習効果について評価実験を行う．まず，語用障害をかかえる人の再現度について，専門家および研究協力施設の放課後等デイサービスの熟練した支援者を対象にシステム評価を実施し，再現度や教材としての有用性について意見交換を行いシステムの修正を行う．再現度について評価を得られたのち，システムの学習効果について，語用障害をかかえる人とのコミュニケーション経験がない（乏しい），またはコミュニケーションをうまく行えない定型発達者（学生や放課後等デイサービスの一部の支援者）を対象に検証を行い，得られた結果を取りまとめ学会発表を行う．
また，第一プロトタイプの開発と並走して，オンラインでの事例収集システムの構築を行い，完成次第公開し事例収集を再開する．
なお，第一プロトタイプで用いる「HoloLens 2」は2020年度の科研費から購入するため，実機が届くまでは「HoloLens 2 emulator」を用いてシステムの開発を行っており，届き次第実機を用いた開発に着手する．
また，平成31年に提出した研究計画調書に記載されている研究計画と内容が異なる点について，本研究の最終的な到達目標に変更はなく，システム開発の手順を変更した．これは，当初は障害の程度ごとにシステム開発を行う計画を立てており，まず語用障害の全特徴に対する重度の語用障害をかかえる人を再現したのち，他の障害の程度の開発に着手する計画でした．現在の計画としては，語用障害の特徴ごとにシステム開発を行う方針に転換し，まず第一プロトタイプで再現する特徴について重度から定型発達者レベルまでの障害の程度を調整できるように開発し，評価実験から有用性が認められたのち第一プロトタイプを拡張する形で他の特徴の開発に着手する．
|
