2022 Fiscal Year Research-status Report
Developmental changes in environmental cues facilitating word learning during parent-child toy play
| Project/Area Number |
22K13664
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
萩原 広道 東京大学, ニューロインテリジェンス国際研究機構, 特別研究員 (00907735)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 言語発達 / 社会的手がかり / 親子遊び / 語意学習 / コーパス / マルチモーダル / 乳幼児 / 機械学習 |
|---|
| Outline of Annual Research Achievements |
初年度は主に，①収集したコーパスデータのアノテーション付与および環境整備，②半自動アノテーションに向けた機械学習手法の整備，③海外の研究者とのネットワーク形成，の3点を実施した。
①について，本研究課題の実施前から既に収集開始していた，乳幼児とその保護者およそ90組を対象にした「親子遊び調査」コーパスに対して，アノテーションの付与を実施した。この調査では，特定の用途をもつ物品を使って親子で遊んでもらい，その際の音声・映像データを収集した。300以上ある音声・映像データに対して，発話や行為の開始・終了のタイミングおよび発話の文字起こしが完了し，アノテーションマニュアルのオープン化に向けた整備を進めた。親子の一人称始点の映像に対して，クラウドソーシングでのアノテーションが可能となるよう，追加での同意書取得も実施した。
②について，発話は行為の半自動アノテーションを実施するため，筑波大学や京都大学の協力を得て，さまざまな機械学習アプローチを模索した。例えば，発話については，発話セグメンテーションや自動音声認識などのプラットフォーム活用を試みた。行為についても，YOLOv5などの物体認識アルゴリズムを用いたアノテーションを試みた。
③については，世界赤ちゃん研究学会 (ICIS) に参加・発表した。さらに，マルチモーダルなコーパスの構築・分析を実施するために，米国テキサス大学や，インディアナ大学，ヒューストン大学，英国Warwick大学，スイス・バーゼル大学の研究者と研究交流し，情報共有するとともに助言を得た。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
「親子遊び調査」コーパスについては，発話や行為の開始・終了のタイミングおよび発話の文字起こしが完了し，アノテーションマニュアルのオープン化に向けた整備を進めている。分析補助者を雇用してマニュアルでのアノテーションを加速的に進めることができた。加えて，クラウドソーシングでのアノテーションが可能となるよう，追加で同意書を取得し，50%以上の返送率を達成した。
機械学習アプローチについては，各種アプローチの利点・欠点の特定ができ，機械学習とマニュアルでのアノテーションをどのように混合させると良いかの目途を立てることができた。発話については，親子遊びという特殊な環境において，対乳児発話の自動文字認識は依然として精度が低く，マニュアルでのアノテーションを要することが分かった。行為についても，物体認識アルゴリズムを用いたアノテーションを試みたが，行為の開始・終了タイミングの特定は既存モデルでは難しいことが分かってきた。特に行為については，本研究で用いるコーパスを教師データとしてモデル構築に取り組んでいる。映像データに対する処理が円滑に進むよう，研究室にハイスペックPCを設置し，研究環境を整備した。さらに，機械学習アプローチを用いた語彙発達の分析については，変分オートエンコーダを用いた解析に取り組み，論文を投稿した。
海外の研究者とのネットワーク形成も想定以上に進展し，対面やオンラインでの打ち合わせに加えて，実際に共同研究が始動したものもある。
以上を総合し，当初の計画以上に進展していると評価した。
|
| Strategy for Future Research Activity |
2023年度は，①「親子遊び調査」データのアノテーションの継続および解析の開始，②機械学習アプローチを用いたアノテーションの半自動化および解析アプローチの提案，③国際共同研究のさらなる推進，を進めていく。研究代表者の所属機関に変更が生じたため，適宜計画を調整しながら進めていく。さらに，国内外の学術集会への参加・発表を精力的に実施していく。
①については，分析補助者を追加雇用し，遊び場面での母親の発話および母親・子どもの行為についてより詳細なアノテーションを付与していく。発話については，個々の発話が特定の物品やその用途に関連しているかどうか，行為については，母親や子どもの行為が特定の物品の本来の用途に合致するかどうかなどについて分類していく。これらが完了することで，語意学習を助けるために大人が提供している種々の手がかりの時間的布置や発達的変化を解析することが可能になる。
②については，2022年度の研究のなかで，既存のオープンソースライブラリの活用には限界があることが判明した，そのため，独自にモデルを創出できるかの検討を研究協力者と進めていくとともに，マニュアルでのアノテーションであっても効率化を図ることができるよう，アノテーションのためのガイドを作成し，日本語・英語にてアクセス可能にすることを目指す。現象を説明する解析アプローチとして，変分オートエンコーダなどの機械学習を活用できる可能性がわかっているため，モデルのさらなる理解と本研究で用いるデータへの適用を進めていく。
③については，2022年度に形成した研究ネット―ワークを活用し，海外の研究室訪問や研究交流をさらに推進していく。特に，ネットワーク分析に関する助言や，言語発達の計算論モデルによるシミュレーションに関する助言を海外の研究者から得られたため，それらの解析アプローチを本研究に適用するための準備を進めていく。
|
| Causes of Carryover |
物品購入で値下げや割引が生じた関係で222円の次年度使用額が発生した。次年度の消耗品購入に充てる計画である。
|
Research Products
(10 results)
