コンピュータ自動採点日本語スピーキングテストの実用化と妥当性の検証

2016 年度 実績報告書

• 研究課題/領域番号: 26244026
• 研究機関: 筑波大学
• 研究代表者: 今井 新悟 筑波大学, 人文社会系, 教授 (50346582)
• 研究分担者: 伊東 祐郎 東京外国語大学, 大学院国際日本学研究院, 教授 (50242227) ; 中村 洋一 清泉女学院短期大学, 国際コミュニケーション科, 教授 (70326809) ; 菊地 賢一 東邦大学, 理学部, 教授 (50270426) ; 赤木 彌生 山口大学, 留学生センター, 准教授 (30346580) ; 中園 博美 島根大学, 外国語教育センター, 准教授 (40314611) ; 本田 明子 立命館アジア太平洋大学, 言語教育センター, 准教授 (80331130) ; 家根橋 伸子 東亜大学, 人間科学部, 教授 (80609652) ; 西村 竜一 和歌山大学, システム工学部, 助教 (00379611) ; 山田 武志 筑波大学, システム情報系, 准教授 (20312829) ; 篠崎 隆宏 東京工業大学, 工学院, 准教授 (80447903)
• 研究期間 (年度): 2014-04-01 – 2017-03-31
• キーワード: CAT / 適応型テスト / 日本語 / スピーキング / 項目応答理論 / 音声認識 / 自動採点

研究実績の概要

Speaking Japanese Computerized Adaptive Test(SJ-CAT)を開発・検証した。非母語話者対象の日本語スピーキングテストであり、インターネット上での受験、音声認識技術の利用、項目応答理論多段階反応モデルによるアダプティブテスト、自動採点などの特色を持つ。ユーザー登録をすると誰でも無料で受験できる。
テストは2セクション、4種類の問題で構成される。Section1は文読み上げ問題と選択肢読み上げ問題、Section2は文生成問題と自由発話問題からなる。(1)文読み上げ問題では、画面上に「おじさんとおじいさんが来ました」のような1文が現れ、それを読み上げる音声が聞こえる。その後、その文を読み上げることが課題である。(2)選択肢読み上げ問題では、静止画や動画で場面が提示される。例えば、2人が話をしている場面の映像があり、「2人は何をしていますか。」という質問が流れ、「a. ご飯を食べています。」「b. 話をしています。」「c. 本を読んでいます。」という選択肢から正解を選んで読み上げる。(3)文生成問題では、例えば箱を開けている映像が流れ、「何をしていますか。」という質問が聞こえる。5秒間考えたのち、「箱を開けています。」のように文で応答する。(4)自由回答問題は、例えば「次の質問に、30秒ぐらいで答えてください。消費税が上がることに賛成ですか、反対ですか。その理由も言ってください。」という質問に対して、5秒間考えたのち、30秒程度（録音時間制限は40秒）で応答するものである。
テスト終了と同時に採点結果が、セクション1が25点満点、セクション2が75点満点、計100点満点で示される。テスト時間は、最初の録音音量の設定、各セクション2問ずつの練習問題を含めて、15分から20分程度である。人が採点する他のテストと相関が高いことが検証された。

現在までの達成度 (段落)

28年度が最終年度であるため、記入しない。

今後の研究の推進方策

28年度が最終年度であるため、記入しない。

備考

SJ-CAT (Speaking Japanese Computerized Adaptive Test)

研究成果

• [雑誌論文] Chapter 3: Future of Language Assessment, 3.2.5 Item Writing and Task Design (2016)
  • 著者名/発表者名: 中村洋一
  • 雑誌名: 日本言語学会誌 巻: 20周年特別号 ページ: 69-72
  • オープンアクセス
• [雑誌論文] コンピュータ適応型テスティング〔実践編〕 (2016)
  • 著者名/発表者名: 今井新悟
  • 雑誌名: 日本言語テスト学会誌 巻: 19 ページ: 186-190
  • オープンアクセス
• [学会発表] 半教師ありDNN学習を用いた日本語スピーキングテスト音声の認識 (2017)
  • 著者名/発表者名: 加藤 拓，篠崎 隆宏
  • 学会等名: 日本音響学会 2017年 春季研究発表会
  • 発表場所: 明治大学生田キャンパス（神奈川県川崎市）
  • 年月日: 2017-03-15 – 2017-03-17
• [学会発表] SJ-CATにおける項目応答理論に基づく能力値推定の精度改善 (2017)
  • 著者名/発表者名: 小野友暉, 山田武志, 菊地賢一, 今井新悟, 牧野昭二
  • 学会等名: 日本音響学会2017年春季研究発表会
  • 発表場所: 明治大学（神奈川県川崎市）
  • 年月日: 2017-03-15 – 2017-03-17
• [学会発表] ChimeChallengeタスクにおけるNMFによる雑音除去の検討 (2017)
  • 著者名/発表者名: 小澤 奈摘，田中 智大，篠崎 隆宏
  • 学会等名: 情報処理学会 第115回音声言語処理研究会
  • 発表場所: 琴平グランドホテル（香川県琴平町）
  • 年月日: 2017-02-17 – 2017-02-18
• [学会発表] SJ-CAT (Speaking Japanese Computerized Test)の紹介／NLT (Ninjal-Lwp for Tsukuba Web Corpus)の使い方 (2016)
  • 著者名/発表者名: 今井新悟
  • 学会等名: アイルランド日本語教師会セミナー（招待講演）
  • 発表場所: ダブリン（アイルランド）
  • 年月日: 2016-11-26 – 2016-11-26
  • 国際学会 / 招待講演
• [学会発表] 日本語スピーキングテストSJ-CATにおける項目応答理論に基づく能力値推定の検証 (2016)
  • 著者名/発表者名: 小野友暉, 山田武志, 菊地賢一, 今井新悟, 牧野昭二
  • 学会等名: 日本音響学会2016年秋季研究発表会
  • 発表場所: 富山大学（富山県富山市）
  • 年月日: 2016-09-14 – 2016-09-16
• [学会発表] 日本語教師はもういらない？-教育環境の変化と求められる教師像- (2016)
  • 著者名/発表者名: 今井新悟
  • 学会等名: 平成28年度日本語学校教育研究大会（招待講演）
  • 発表場所: 国立オリンピック記念青少年総合センター（東京都渋谷区）
  • 年月日: 2016-08-23 – 2016-08-23
  • 招待講演
• [学会発表] ワークショップ：テスト作成・評価法 (2016)
  • 著者名/発表者名: 今井新悟
  • 学会等名: ウズベキスタン日本語教師会 日本語教育セミナー（招待講演）
  • 発表場所: タシケント（ウズベキスタン）
  • 年月日: 2016-08-13 – 2016-08-14
• [図書] 日語教学研究 (2016)
  • 著者名/発表者名: 徐敏民、近藤安月子、修剛、張威、曹大峰、石田敏子、小林ミナ、今井新悟他
  • 総ページ数: 620 (507-529)
  • 出版者: 外語教学与研究出版社
• [備考] SJ-CAT
  • URL: https://www.sj-cat.org/