コンピュータ自動採点日本語スピーキングテストの実用化と妥当性の検証

2014 年度 実績報告書

• 研究課題/領域番号: 26244026
• 研究機関: 筑波大学
• 研究代表者: 今井 新悟 筑波大学, 人文社会系, 教授 (50346582)
• 研究分担者: 西村 竜一 和歌山大学, システム工学部, 助教 (00379611) ; 山田 武志 筑波大学, システム情報系, 准教授 (20312829) ; 赤木 彌生 山口大学, 大学教育機構留学生センター, 准教授 (30346580) ; 中園 博美 島根大学, 外国語教育センター, 准教授 (40314611) ; 伊東 祐郎 東京外国語大学, 留学生日本語教育センター, 教授 (50242227) ; 菊地 賢一 東邦大学, 理学部, 教授 (50270426) ; 中村 洋一 清泉女学院短期大学, 国際コミュニケーション科, 教授 (70326809) ; 本田 明子 立命館アジア太平洋大学, 言語教育センター, 准教授 (80331130) ; 篠崎 隆宏 東京工業大学, 総合理工学研究科(研究院), 准教授 (80447903) ; 家根橋 伸子 東亜大学, 人間科学部, 教授 (80609652)
• 研究期間 (年度): 2014-04-01 – 2017-03-31
• キーワード: 日本語テスト / スピーキングテスト / 項目反応理論 / コンピュータテスト / 適応型テスト / 教育工学

研究実績の概要

日本語学習者のための日本語スピーキング能力をコンピュータ上で自動採点するシステムを実用化するという課題の初年度として、以下の研究・開発を行った。
１）音響情報にかかわるパラメータと回答の内容にかかわるパラメータの候補を挙げ、それらの組み合わせによって変わってくる自動採点結果を比較する評価実験を行った。その結果から、最適なパラメータの種類・組み合わせを決定した。２）ＰＣに加えて、タブレットやスマートフォンでも利用できるテストを作るため、ＨＴＭＬでのプログラミングを行い、また、ユーザーインターフェースについても検討を加えて、改良した。３）ガウス混合分布を用いた隠れマルコフモデルとDeep Neural Networkによるモデルにおいて音声認識の精度を比較した。その結果、Deep Neural Networkによる方が音声認識の精度が上がることを確認した。それに基づき、Deep Neural Networkをシステムに組み込む方法について検討した。４）アダプティブテストにおける項目選択の際の方法として、多段階項目応答理論の1パラメータモデルと２パラメータモデルを比較し、本テストシステムに向く方法について検討した結果、１パラメータモデルを採用することにした。５）テストの公開に向けて、管理者画面なども含めて、実際の運用に必要となるシステムの要件について検討し、公開用のテストのプログラミングを開始した。６）他の科学研究費補助金で実施されている、人が採点する日本語のスピーキングテストの研究について情報を収集し、特に、スピーキングテストの妥当性について検討した。

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

本年度末に予定していたテストシステムの公開はできていないが、それ以外の研究・開発はすべて予定通りに実施できた。公開のための準備は進められており、次年度の早い段階で公開を開始する予定である。

今後の研究の推進方策

テストシステムの公開が喫緊の課題である。公開によりテスト回答データの収集ができ、ひいてはシステムのチューニングができる。公開の準備は進んでおり、特に問題はない。

研究成果

• [雑誌論文] 21st Century Skills と MRM (2015)
  • 著者名/発表者名: 中村洋一
  • 雑誌名: 公益財団法人日本英語検定協会 2014年度 英語教育研究センター 委託研究「ICT等を活用した評価についての調査・研究報告書」 巻: なし ページ: 19-30
• [雑誌論文] Mixture Rasch Model (MRM) の考察と展望: 21st Century Skills とMRM (2015)
  • 著者名/発表者名: 中村洋一
  • 雑誌名: 公益財団法人日本英語検定協会 2014年度 英語教育研究センター 委託研究「ICT等を活用した評価についての調査・研究報告書」 巻: なし ページ: 54-58
• [雑誌論文] アダプティブ・テストによる日本語評価システム (2015)
  • 著者名/発表者名: 赤木彌生
  • 雑誌名: 2015年大葉大学日語教学国際学術研討会 第７回日語的研究・教学・応用大会発表集 巻: なし ページ: 126-133
• [雑誌論文] Automatic scoring method for open answer task in the SJ-CAT speaking test considering utterance difficulty level (2014)
  • 著者名/発表者名: Hao Lu, Takeshi Yamada, Shingo Imai, Takahiro Shinozaki, Ryuichi Nisimura, Kenkichi Ishizuka, Shoji Makino, Nobuhiko Kitawaki
  • 雑誌名: Proc. Asia-Pacific Signal and Information Processing Association (APSIPA) Annual Summit and Conference (ASC) 2014 巻: WA1-1-3 ページ: 1-5
  • 査読あり / 謝辞記載あり
• [雑誌論文] ことばの能力を測るということ (2014)
  • 著者名/発表者名: 伊東祐郎
  • 雑誌名: 日本語学 巻: 33-12 ページ: 6-15
• [学会発表] アダプティブ・テストによる日本語評価システム (2015)
  • 著者名/発表者名: 赤木彌生
  • 学会等名: 2015年大葉大学日語教学国際学術研討会
  • 発表場所: 大葉大学（中華民国・彰化県）
  • 年月日: 2015-03-28
  • 招待講演
• [学会発表] ウェブアプリケーションにおける音声入力UIの設計と評価について (2015)
  • 著者名/発表者名: 田藤千弘、西村竜一、入野俊夫、河原英紀
  • 学会等名: 日本音響学会2015年春季研究発表会
  • 発表場所: 中央大学後楽園キャンパス（東京都文京区）
  • 年月日: 2015-03-16
• [学会発表] スピーキングテストシステムにおける発話内容を考慮した自動採点 (2015)
  • 著者名/発表者名: 小野豊、篠崎隆宏、堀内靖雄、黒岩眞吾
  • 学会等名: 電子情報通信学会
  • 発表場所: 立命館大学 びわこ・くさつキャンパス（滋賀県草津市）
  • 年月日: 2015-03-11
• [学会発表] The Use of Technology in Japanese Language Education (2015)
  • 著者名/発表者名: 赤木彌生
  • 学会等名: 女性言語教育学会 (Women Educators and Language Learners)
  • 発表場所: 国立女性教育会館（埼玉県嵐山町）
  • 年月日: 2015-02-07
  • 招待講演
• [学会発表] Automatic Scoring Method for Open Answer Task in the SJ-CAT Speaking Test Considering Utterance Difficulty Level. (2014)
  • 著者名/発表者名: Lu, Hao, Takeshi Yamada, Shingo Imai, Takahiro Shinozakiy, Ryuichi Nisimuraz, Kenkichi Ishizuka, Shoji Makino, and Nobuhiko Kitawaki
  • 学会等名: Asia-Pacific Signal and Information Processing Association (APSIPA) Annual Summit and Conference (ASC) 2014
  • 発表場所: Sokha Angkor Resort Hotel, the city of Angkor Wat, Cambodia
  • 年月日: 2014-12-10
• [学会発表] 言語教育におけるICTテクノロジーの進展と教師の将来 (2014)
  • 著者名/発表者名: 今井新悟
  • 学会等名: NINJALコロキウム
  • 発表場所: 国立国語研究所（東京都立川市）
  • 年月日: 2014-10-28
  • 招待講演
• [学会発表] コンピュータアダプティブテストの理論と実際：J-CAT (Japanese Computerized Adaptive Test)を例に (2014)
  • 著者名/発表者名: 今井新悟・中村洋一
  • 学会等名: 日本言語テスト学会第18回全国研究大会ワークショップ
  • 発表場所: 立命館大学 びわこ・くさつキャンパス（滋賀県草津市）
  • 年月日: 2014-09-20
  • 招待講演
• [学会発表] 音声認識を用いた日本語スピーキングテストとそのユーザインタフェースデザインの検討 (2014)
  • 著者名/発表者名: 田藤千弘・西村竜一・河原英紀・入野俊夫・今井新悟
  • 学会等名: 教育システム情報学会第39回全国大会
  • 発表場所: 和歌山大学（和歌山県和歌山市）
  • 年月日: 2014-09-10
• [学会発表] HTML5による音声入力ウェブアプリケーションの開発キット (2014)
  • 著者名/発表者名: 田藤千弘、西村竜一
  • 学会等名: 日本音響学会2014年秋季研究発表会
  • 発表場所: 北海学園大学（北海道札幌市）
  • 年月日: 2014-09-04
• [学会発表] 授業計画と学習評価 (2014)
  • 著者名/発表者名: 伊東祐郎
  • 学会等名: 第9回全国大学日本語教師研修会
  • 発表場所: 国航大厦ホテル（中国・大連）
  • 年月日: 2014-07-19
  • 招待講演
• [学会発表] 外国人児童生徒のためのDLA-JSL評価参照枠の課題と展望－対話型アプローチの利点と年齢ブロック別対応の必要性に焦点を当てて－ (2014)
  • 著者名/発表者名: 伊東祐郎
  • 学会等名: ICJLEシドニー
  • 発表場所: シドニー工科大学（オーストラリア・シドニー）
  • 年月日: 2014-07-11
• [学会発表] 評価とコースデザイン (2014)
  • 著者名/発表者名: 伊東祐郎
  • 学会等名: トルコ日本語教師会
  • 発表場所: ボアジチ大学（トルコ・イスタンブール）
  • 年月日: 2014-06-22
  • 招待講演
• [学会発表] 受験者を焦らせない音声入力ウェブ試験システムを目指したデザインの検討 (2014)
  • 著者名/発表者名: 田藤千弘、西村竜一、河原英紀、入野俊夫
  • 学会等名: 情報処理学会/電子情報通信学会, 音学シンポジウム2014
  • 発表場所: 日本大学文理学部（東京都世田谷区）
  • 年月日: 2014-05-25
• [学会発表] グローバル化時代の日本語教師 (2014)
  • 著者名/発表者名: 伊東祐郎
  • 学会等名: 韓国日語教育学会第25回国際学術大会
  • 発表場所: 建国大学校（韓国・ソウル）
  • 年月日: 2014-04-26
  • 招待講演
• [学会発表] Sustainability Of The Computerized Adaptive Test for Japanese Language Proficiency Tests (2014)
  • 著者名/発表者名: 赤木彌生
  • 学会等名: International Conference on Human Sustainability, Universiti Tun Onn Malaysia（UTHM） （INSAN2014）
  • 発表場所: Universiti Tun Onn Malaysia （マレーシア・ジョホール）
  • 年月日: 2014-04-09
  • 招待講演
• [図書] 日本語教育実践 (2014)
  • 著者名/発表者名: 阿部祐子、伊東祐郎、左治木敦子、佐野ひろみ、嶋津拓、杉山朗子、陳風、當眞正裕、長谷川恒雄、橋本洋輔、 邊姫京、堀内仁、渡邊靖史、鮎澤孝子(編集)
  • 総ページ数: 349
  • 出版者: 凡人社