2016 Fiscal Year Annual Research Report
英語シャドーイングで話者の顔動画をみる効果：ＮＩＲＳによる脳内処理機構の解明
| Project/Area Number |
15H03229
|
|---|
| Research Institution | Kwansei Gakuin University |
|---|
Principal Investigator |
門田 修平 関西学院大学, 法学部, 教授 (20191984)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
林 良子 神戸大学, 国際文化学研究科, 教授 (20347785)
中野 陽子 関西学院大学, 人間福祉学部, 教授 (20380298)
野呂 忠司 愛知学院大学, 文学部, 客員教授 (40218376)
氏木 道人 関西学院大学, 理工学部, 教授 (20369680)
中西 弘 東北学院大学, 文学部, 准教授 (10582918)
長谷 尚弥 関西学院大学, 国際学部, 教授 (50309407)
風井 浩志 関西学院大学, 理工学部, 理工学部研究員 (80388719)
|
|---|
| Project Period (FY) |
2015-04-01 – 2019-03-31
|
| Keywords | シャドーイング / 近赤外線分光法 / 眼球運動 / 顔動画 / 第二言語習得 |
|---|
| Outline of Annual Research Achievements |
本研究は、アイカメラを用いた眼球運動および近赤外分光法（near-infrared spectroscopy：NIRS）を用いた脳内処理プロセスの両面から、当初、以下の目的を持った実験を実施しようとするものであった。
(1)(a)「動画＋音声」、(b)「静止画＋音声」、(c)「音声のみ」の３条件におけるシャドーイングの成否（正再生率、シャドーイング後の内容理解度等）を比較検討する。(2)(a)「動画＋音声」、(b)「静止画＋音声」の２条件におけるシャドーイング時の顔動画に対する眼球運動および脳内処理プロセスを比較検討する。(3)シャドーイング前後にpre-の黙読とpost-の黙読（silent reading）タスクを実施し、(a)「動画＋音声」、(b)「静止画＋音声」、(c)「音声のみ」の３条件におけるシャドーイング後に、黙読時の眼球運動データおよび脳内処理プロセスにどのような差異がみられるか検討する。
平成28年度は、上記３つの目的を達成すべく、詳細な実験計画の確定のための検討を行った。その結果、顔動画を呈示することがシャドーイングのタスクにどのような効果をもたらすかについて検証することがまず必要で、それに専念するために研究目的の一部修正を行った。その結果、概ね以下の目的に絞ることになった。
第二言語（外国語）としての英語におけるシャドーイング（shadowing）において、(a)モデルとなる話者の顔動画（口唇や顎の動きなどの情報を含む）とモデル音声を同時提示（以降、「動画＋音声」）する場合と、(b)モデルとなる話者の顔の制止画とモデル音声を同時提示（以降、「静止画＋音声」）する場合と、(c)モデル音声のみを提示する場合（以降、「音声のみ」）の３条件における、眼球運動分析（視線分析）およびNIRSによる脳内処理プロセスデータを計測し、比較検討する。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
既に上記【研究実績の概要】で述べたように、研究方法を精査して、最終版の研究計画を確定することに努めた結果、当初の目的のうち、シャドーイングトレーニングの黙読への影響については、研究目的があまりに広範囲にわたること、実験計画の複雑さ、実施困難性を考慮しつつ、当面の目的からはずすことになった。
その上で、当該年度では主に次の４点、すなわち(1)実験環境（刺激英文パッセージ呈示用PCなど）を整備する、(2)実験用英文素材パッセージとして適切なものを選定する、(3)眼球運動測定用動画を作成・編集し、眼球運動実験のために必要な、音声と文字刺激の切り分け作業を行う、(4)眼球運動データ計測の詳細な手順を確立する、(5)実験デモを繰り返し実施する、といった実験準備を行った。
以上の準備段階を経て、ようやく次年度（平成29年度）からの本格的データ収集が可能になった。
今回、正確かつ円滑なデータ収集を行うための準備である上記(1)～(5)を念入りに行ったおかげで、平成29年度春学期に予定している、顔動画や顔静止画をみながらのシャドーイング時の眼球運動データ収集、また同年秋学期に予定している、顔動画や顔静止画をみながらのシャドーイング時のNIRS脳内処理データと眼球運動データの同時計測を直ぐに実施できる準備態勢がほぼ整ったと言えよう。
|
| Strategy for Future Research Activity |
今後の研究の予定として、まず短期的には、用意した実験素材（英文、ビデオ動画）の分析をさらに行い、「動画＋音声」、「静止画＋音声」などのシャドーイング条件間に刺激材料に有意差がないか最終的に確認する作業を行う。
その上で、平成29年度の春学期中に、「動画＋音声」、「静止画＋音声」のシャドーイング条件における学習者の眼球運動計測をアイカメラを用いて実施する予定である。実際の実験は、個々の参加者毎に実施するが、ほぼ2時間を予定し、上記の２条件間では休憩をとるが、教材（動画）の提示順は参加者毎にカウンターバランスをとる。また、実験デザインは、「動画＋シャドーイング」と「静止画＋シャドーイング」の２条件で被験者間実験とする。次に素材として、それぞれの条件毎に、10パッセージの音声または動画を使用する。実験参加者は、OxfordクイックプレイスメントテストVer２のPart１を課して、学力を考慮した上で、20人を目処にリクルートする。
以上のような眼球運動データの収集とは別に、「動画＋シャドーイング」「静止画＋シャドーイング」「音声のみシャドーイング」の３条件でシャドーイングを課した際の、行動データ（シャドーイングの正再生率など）を収集する行動実験もあわせて春学期中に行う。
そして、NIRSを使った脳内処理実験については、詳細に実験計画を再度練り直しながら、平成29年度秋学期の10～11月頃に実施する予定である。
|
