Origin of Turn-Taking: Developmental Cognitive Neuroscience approach

• Project Area: Studies on intelligent systems for dialogue toward the human-machine symbiotic society
• Project/Area Number: 20H05555
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Complex systems
• Research Institution: The University of Tokyo
• Principal Investigator: 開 一夫 東京大学, 大学院総合文化研究科, 教授 (30323455)
• Project Period (FY): 2020-04-01 – 2022-03-31
• Project Status: Completed (Fiscal Year 2021)
• Budget Amount: ¥18,720,000 (Direct Cost: ¥14,400,000、Indirect Cost: ¥4,320,000); Fiscal Year 2021: ¥9,360,000 (Direct Cost: ¥7,200,000、Indirect Cost: ¥2,160,000); Fiscal Year 2020: ¥9,360,000 (Direct Cost: ¥7,200,000、Indirect Cost: ¥2,160,000)
• Keywords: ターンテイキング / 発達認知科学 / オンライン実験 / 母子相互作用 / 発達神経科学 / 言語発達 / マルチモーダル対話

Outline of Research at the Start

発達科学的手法と認知神経科学手法、先端計測技術を統合的に用いることで、ターンテイキングの発達的変遷を明らかにする。具体的には、先端計測技術を駆使することで乳幼児-養育者間（あるいは、乳幼児-人工物間、養育者-人工物間）の相互作用を精緻に計測し、認知神経科学で用いられているHD-EEG(高密度脳波計)による脳機能計測法を発達科学の縦断的実験デザインとして組み込むことで、行動レベルだけではなく、ターンテイキングの神経基盤も明らかにする。

Outline of Annual Research Achievements

ターンテイキング(Turn-Taking)は、人間同士のインタラクティブな対話において文化・言語に依らず普遍的に見られる話者の交代現象である(Levinson et.al., PNAS, 2017)。対話に関する研究は、古くから会話分析の研究としてトランスクライブされたテキストをターゲットとした研究が行われてきた(Sacks et.al., 1974)。しかし、近年、発話間の「間(Gap)」や「オーバーラップ(Within-overlap, Between-overlap)」といった客観的に定量化可能な時間的側面についても着目されつつある。
本研究課題では、日本語環境下で養育されている３歳児と、日本語・韓国語のバイリンガル成人とのインタラクションを対象とた、縦断的研究をおこなった。実験では、成人がA（日本語15分）-B（韓国語15分）-A（日本語15分）の順で子どもと自由に遊んでいる場面をICレコーダとビデオカメラで記録し、A（子どもにとって母語での対話）とB（子どもにとって非母語での対話）におけるGAPにどのような違いが見られるかを中心に分析した。
縦断的な実験の結果、ネイティブ話者間（成人）の対話と同様に、非母語での対話においても、ターンテイキングの時間的側面に変化が見られ、平均200msのGapが成立していることが、分かった。このことは、対話における聞き手（子ども）が、話し手の発話終了時期を精度良く予測し、かつ、自己ターンの発話開始時期や内容について適切に計画していることを示唆する。予測と計画の精度には、発話者の意図や意味内容、文法といった言語的側面だけでなく、発話における抑揚やアクセントといった非言語的な側面も深く関わっており、引き続き、第二言語習得との関連性について研究する必要がある。

Research Progress Status

令和3年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和3年度が最終年度であるため、記入しない。

Research Products

• [Int'l Joint Research] TILBURG University(オランダ)
• [Journal Article] Assessment of Engagement and Learning During Child-Robot Interaction Using EEG Signals. (2021)
  • Author(s): Alimardani, M., van den Braak, S., Jouen, AL., Matsunaka, R., Hiraki, K
  • Journal Title: Social Robotics. Volume: 13086 Pages: 671-682
  • DOI: 10.1007/978-3-030-90525-5_59
  • ISBN: 9783030905248, 9783030905255
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Emotional Distraction by Constant Finger Tapping: Pupil Dilation and Decreased Unpleasant Emotion and Task-unrelated Thoughts (2021)
  • Author(s): Ozawa, S , Yoshimoto, H , Okanoya, K , Hiraki, K
  • Journal Title: Journal of Psychophysiology Volume: N/A Issue: 2 Pages: 1-17
  • DOI: 10.1027/0269-8803/a000287
  • Peer Reviewed
• [Journal Article] The Effect of Robot-Guided Meditation on Intra-Brain EEG Phase Synchronization (2021)
  • Author(s): Yoon Sue、Alimardani Maryam、Hiraki Kazuo
  • Journal Title: HRI21 Volume: 1 Pages: 318-322
  • DOI: 10.1145/3434074.3447184
  • Peer Reviewed
• [Journal Article] テクノロジーは我々の生活をどう変えるのか (2020)
  • Author(s): 開一夫
  • Journal Title: 究 Volume: 109 Pages: 28-31
• [Journal Article] Timing of phase-amplitude coupling is essential for neuronal and functional maturation of audiovisual integration in adolescents. (2020)
  • Author(s): Ohki T, Matsuda T, Gunji A, Takei Y, Sakuma R, Kaneko Y, Inagaki M, Hanakawa T, Ueda K, Fukuda M, Hiraki K
  • Journal Title: Brain Behav. Volume: 27 Issue: 6
  • DOI: 10.1002/brb3.1635
  • Peer Reviewed / Open Access
• [Journal Article] Manifesto for new directions in developmental science (2020)
  • Author(s): Barbot Baptiste、Hein Sascha、Hiraki Kazuo、Johnson Mark, et.al.
  • Journal Title: New Directions for Child and Adolescent Development Volume: 2020 Issue: 172 Pages: 135-149
  • DOI: 10.1002/cad.20359
  • Peer Reviewed
• [Journal Article] Pupil constrictions and their associations with increased negative affect during responses to recalled memories of interpersonal stress (2020)
  • Author(s): Ozawa, S., Yoshimoto, H., Okanoya, K., & Hiraki, K.
  • Journal Title: Journal of Psychophysiology Volume: - Pages: 1-10
  • DOI: 10.1027/0269-8803/a000273
  • Peer Reviewed / Open Access
• [Book] 赤ちゃんと一緒に楽しむ あそびアイデアBOOK (2021)
  • Author(s): 開一夫
  • Total Pages: 200
  • Publisher: 朝日新聞出
• [Remarks] Maryam Page
  • URL: https://research.tilburguniversity.edu/en/persons/maryam-alimardani