2020 Fiscal Year Annual Research Report
Origin of Turn-Taking: Developmental Cognitive Neuroscience approach
Publicly Offered Research
| Project Area | Studies on intelligent systems for dialogue toward the human-machine symbiotic society |
|---|
| Project/Area Number |
20H05555
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
開 一夫 東京大学, 大学院総合文化研究科, 教授 (30323455)
|
|---|
| Project Period (FY) |
2020-04-01 – 2022-03-31
|
| Keywords | ターンテイキング / 発達認知科学 / オンライン実験 |
|---|
| Outline of Annual Research Achievements |
本研究では、発達科学的手法と認知神経科学手法、先端計測技術を統合的に用いることで、ターンテイキングの発達的変遷を明らかにすることを目標としている。具体的には、モーションキャプチャ装置、高速度カメラといった先端計測技術を駆使することで乳幼児-養育者間（あるいは、乳幼児-人工物間、養育者-人工物間）の相互作用を精緻に計測し、認知神経科学で用いられているHD-EEG(高密度脳波計)による脳機能計測法を発達科学の縦断的実験デザインとして組み込むことで、行動レベルの研究だけではなく、ターンテイキングの発達的神経基盤についても明らかにすることを目論んでいる。
2020年度は、オンラインで実施できるターンテイキング実験環境を構築し、複数人でのオンライン対話に関する予備的な実験を行った。対話場面としてはいわゆる輪講場面をとりあげ、「発表者」と「質問者」のやりとりにおけるGap（発話交代における間）を分析対象とした。
この実験ではオンライン環境のメリットを活用して「次に誰が発言するか？」という次話者の予測を視線や顔表情から機械学習を用いて予測することを試みた。話者交代を予測する予測器は機械学習(LSTM)を用いてを構築した。結果、①顔画像はターンテイキングの予測に寄与すること ② (前話者，現話者，その他２名} の４名の組について、２０秒間の特徴ベクトルを入力として与えると、3秒後のターンテイキングの有無つまり４名の発話の有無が約６０％予測できること、の２点が明らかになった。
以上の通り、オンラインであっても従来の（対面で行われている）実験と同様の分析を行えることが明らかになったと同時に、次話者予測に関して概ね有用な結果（予測制度60%程度）を得ることができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の目標は、ターンテイキングの発達的変遷を明らかにすることを目標としている。発達研究（特に乳幼児を対象とした研究）は、一般に、ラボ内や保育所等で「対面」で実施されることが多い。しかしながら、2020年はCovid-19感染拡大防止の観点から対面での認知実験を制限したため、乳幼児を対象とした実験室実験でデータを取得することができなかった。
一方、新たな研究手法として、Zoomを用いたオンライン実験環境の構築を試み、十分な成果をあげることができた。
|
| Strategy for Future Research Activity |
乳幼児との対面実験を実施する。
具体的には少人数の実験協力者（乳幼児）を対象として、子どもにとって母語と外国語でコミュニケーションをとった場合のGAP（対話における間）を比較し、言語習得とターンテイキングにおけるGAPとの関連性に着目した実験を行う。
|
| Remarks |
国際会議に採択済
|
