• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

マルチモーダルな視点による日本語講義動画およびコーパスの開発

Research Project

Project/Area Number 24K03981
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 02090:Japanese language education-related
Research InstitutionOkayama University

Principal Investigator

毛利 貴美  岡山大学, 学術研究院共通教育・グローバル領域, 准教授 (60623981)

Co-Investigator(Kenkyū-buntansha) 李 在鎬  早稲田大学, 国際学術院(日本語教育研究科), 教授 (20450695)
古川 智樹  関西大学, 国際部, 教授 (60614617)
中井 好男  大阪大学, 大学院人間科学研究科, 准教授 (60709559)
寅丸 真澄  早稲田大学, 日本語教育研究センター, 教授 (60759314)
Project Period (FY) 2024-04-01 – 2027-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2026: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2025: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2024: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Keywords講義 / コーパス / マルチモーダル / アカデミックリスニング / 独話 / 談話 / メタ言語 / 非言語
Outline of Research at the Start

本研究では「外国人留学生にとっての日本語の講義の理解を妨げる要因は何か」という学術的な問いを設定し、日本語の講義動画のデータベース化および講義の独話コーパスの開発を通して、講義の特徴をマルチモーダルな視点から分析する。研究の方法としては、まず、本研究では映像(非言語的要素)とテキスト(言語的要素)のアノテーション(注釈)およびタグ付けを行い、マルチモーダルな視点によるコーパス作成を行う。次に、講義の独話コーパス上の談話の特徴と照らし合わせて、どのような言語的要素や非言語的要素によって理解に問題が生じたのかを明らかにするために意識調査を行い、質的かつ量的に分析する。

Outline of Annual Research Achievements

本科研では,「外国人留学生にとっての日本語の講義の理解を妨げる要因は何か」という学術的な問いを設定し,日本語の講義動画のデータベース化および講義の独話コーパスの開発を通して,講義の特徴をマルチモーダルな視点から分析することを目的としている。
2024年度は,本科研申請時に計画していたマルチモーダルな視点による講義の独話コーパスの開発のための4つのプロセスを経ることができた(①大学の専門講義を録画・録音し,文字化する。②講義のトピックや構造の特徴,非言語的要素,メタ言語的要素というマルチモーダルな視点からアノテーションを行う。③②の結果を基に日本語による講義の独話コーパスを構築する。④講義の独話の特徴を分析する)
④のコーパスの分析では,2024年度は農業に関する専門講義(8分39秒)の分析を行い,「主題」「メタ言語」「非言語」のマルチモーダルな視点からタグ付けを行った。その結果,74文中33の「主題」表現が示す語句が確認され,談話を深めていく階層があることがわかった。次に,「メタ言語」については,寅丸(2010)を踏まえて機能分類とタグ付けを行った結果,74文中33のメタ言語表現が抽出された。メタ言語の機能としてはサブポイント提示や話題提示,さらに理解確認や言い換えの表現が観察され,講義者が講義の構造化や学習者の理解促進に留意していたことがわかった。「非言語」については,講義で現れる非言語行動を5つの行動と6つのカテゴリーに分け,タグ付けを行った。その結果,スライド変更時に「視線・体の方向転換」や,仮想聴衆に向けて姿勢の変化や複合動作があることが確認された。以上のように,本科研で開発したコーパスの分析から,講義理解の手がかりとなり得る要素が抽出された。この結果は,2025年8月に開催される第11回CASTEL/J国際大会にて採択され,発表する予定となっている

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

2024年度の予定は分析の定義を終了し,①~④の予定を終えることができたが,まだ公開には至っておらず,今後,より多くのデータ分析を行う予定である。また,2024年度の秋学期中に,岡山大学での講義の録画を行い,日本思想史関連の講義15時間を録画した文字化作業および分析作業に時間が想定以上にかかっているため,やや遅れ気味となっている。

Strategy for Future Research Activity

2025年度は,コーパスの分析対象を増やすと同時に,外国人留学生の講義理解の困難点についての意識調査を行う。調査1:講義の独話を理解する過程におけるミクロ面の困難点について分析する。手順としては,①前述のデータベースにおける講義の動画を 使用して大学初年次の外国人留学生に視聴させ,ノートテイキングおよび理解テストを行う。②再生刺激法を用いて,動画視聴後に 再度動画を視聴し,ノートテイキング行動の結果を見せながらインタビューを行い,講義を視聴していた時の意識の再生を行う。③講義の独話コーパスの特徴と照らし合わせながら,ミクロ面での理解困難な言語的要素や非言語的要素の抽出や分類を行う。調査2:講義を受講する長期の過程における意識の変容をマクロ面の視点から分析する。大学初年次の外国人留学生5~10名を対象に入学時から約1年の縦断研究を実施し,講義理解の問題の所在と変容をマクロ面の視点から分析する。特に個人の抱える困難点を,個人の能力の程度との関連に加え,能力の発揮や困難解決のための行動を阻む社会的文化的要素などにも着目することで能力を個人,社会の両面から捉え直すことをめざす。

Report

(1 results)
  • 2024 Research-status Report
  • Research Products

    (7 results)

All 2025 2024

All Journal Article (3 results) (of which Open Access: 2 results,  Peer Reviewed: 1 results) Presentation (4 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] ChatGPTによる日本語ニュースの平易化―生成AIと「やさしい日本語」―2025

    • Author(s)
      李 在鎬, 長谷部 陽一郎
    • Journal Title

      計量国語学

      Volume: 34巻8号 Pages: 563-573

    • Related Report
      2024 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] 講義理解研究の変遷と今後の研究課題―聴解過程からマルチモーダルな視点を取り入れた教育研究へ―2024

    • Author(s)
      毛利貴美
    • Journal Title

      第二言語習得研究会(JASLA)

      Volume: 27 Pages: 83-99

    • Related Report
      2024 Research-status Report
  • [Journal Article] 日本語の習熟度と接続表現の使用に関する調査2024

    • Author(s)
      李在鎬 , 伊集院郁子 , 村田裕美子 , 青木優子 , 長谷部陽一郎
    • Journal Title

      早稲田日本語教育学

      Volume: 36 Pages: 259-268

    • Related Report
      2024 Research-status Report
    • Open Access
  • [Presentation] AIの教育活用をめぐる現場の実情2025

    • Author(s)
      毛利貴美
    • Organizer
      岡山大学教育推進機構 外国語教育部門日本語教育系主催講演会「日本語教師のための生成AI入門」
    • Related Report
      2024 Research-status Report
  • [Presentation] マルチモーダルな視点における講義の独話コーパスの開発2025

    • Author(s)
      毛利貴美・李在鎬・古川智樹・寅丸真澄・中井好男
    • Organizer
      第11回CASTEL/J国際大会
    • Related Report
      2024 Research-status Report
    • Int'l Joint Research
  • [Presentation] 大学院予備教育課程における日本語学習者の生成AI使用の実態と意識2024

    • Author(s)
      毛利貴美
    • Organizer
      留学生教育学会 第29回 JAISE 年次大会
    • Related Report
      2024 Research-status Report
  • [Presentation] 学習者の生成AI利用に対する日本語教師の葛藤2024

    • Author(s)
      毛利貴美
    • Organizer
      2024年度日本語教育学会秋季大会
    • Related Report
      2024 Research-status Report

URL: 

Published: 2024-04-05   Modified: 2025-12-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi