音声認識技術を応用したコンピュータ自動採点日本語スピーキングテストの開発

2012 年度 実績報告書

• 研究課題/領域番号: 22242014
• 研究機関: 筑波大学
• 研究代表者: 今井 新悟 筑波大学, 人文社会系, 教授 (50346582)
• 研究分担者: 山田 武志 筑波大学, システム情報系, 准教授 (20312829) ; 西村 竜一 和歌山大学, システム工学部, 助教 (00379611) ; 篠崎 隆宏 千葉大学, 融合科学研究科, 助教 (80447903) ; 伊東 祐郎 東京外国語大学, 留学生日本語教育センター, 教授 (50242227) ; 赤木 彌生 山口大学, 大学教育機構留学生センター, 准教授 (30346580) ; 酒井 たか子 筑波大学, 人文社会系, 教授 (40215588) ; 中園 博美 島根大学, 外国語教育センター, 准教授 (40314611) ; 本田 明子 立命館アジア太平洋大学, 言語教育センター, 准教授 (80331130) ; 中村 洋一 清泉女学院短期大学, 国際コミュニケーション科, 教授 (70326809) ; 菊地 賢一 東邦大学, 理学部, 准教授 (50270426) ; 家根橋 伸子 東亜大学, 人間科学部, 准教授 (80609652)
• 研究期間 (年度): 2010-04-01 – 2013-03-31
• キーワード: 日本語教育 / スピーキングテスト / 音声認識 / 教育評価・測定 / CAT / 項目応答理論 / 音声情報処理

研究概要

【音声認識システム】以下の各方法を取り入れることにより、音声による回答の正誤判定の精度を向上させた。１）音声認識エンジンJuliusとともにT3を併用し、それぞれの認識結果を相互に参照するようにした。２）これまでに集積した音声データおよび音声書き起こしデータを基に音響モデルおよび言語モデルを作成した。３）言語モデルについてウェブテキストモデル、CSJ配布モデル、音声書き起こしモデルとその融合モデルを音響モデルを使って評価した。４）問題タイプごとにコンピュータによる評価項目（無音声時間、フィラー、発話速度、発音のずれ、語彙の豊富さなど）を最適化させた。
【問題評価】音声認識システムによる判定と人による判定の相関の検証の精度を高めるために、音声データの採点者を増やし、再度採点を行った。音声認識システムの認識結果および正誤判定結果を受けて、人による採点とコンピュータによる採点の比較検証を行うとともに、アイテムの種類別およびアイテム別に妥当性および実用性について評価した。
【システム開発】項目応答理論多値モデル（Graded Response Model）を用いてテストスコアを算出するアルゴリズムを組み込んだシステムのプロトタイプを開発した。
【システム評価】上記システムを使い、複数人で実験を行い、テストスコア産出結果について評価した。
【成果の公開】国内外で研究発表を行い、成果を公開した。

現在までの達成度 (区分)

理由

24年度が最終年度であるため、記入しない。

今後の研究の推進方策

24年度が最終年度であるため、記入しない。

研究成果

• [学会発表] Open Answer Scoring for S-CAT Automated Speaking Test System Using Support Vector Regression
  • 著者名/発表者名: Yutaka Ono, Misuzu Otake, Takahiro Shinozaki, Ryuichi Nisimura, Takeshi Yamada, Kenkichi Ishizuka, Yasuo Horiuchi, Shingo Kuroiwa and Shingo Imai
  • 学会等名: APSIPA 国際会議
  • 発表場所: Loews Hollywood Hotel, アメリカ
• [学会発表] 日本語スピーキングテストシステムS-CAT のためのSVR による自由発話の自動採点
  • 著者名/発表者名: 小野豊・大竹美鈴・篠崎隆宏・西村竜一・山田武志・石塚賢吉・堀内靖雄・黒岩眞吾・今井新悟
  • 学会等名: 日本音響学会2012年秋季研究発表会
  • 発表場所: 信州大学, 長野
• [学会発表] 日本語スピーキングテストS-CATにおける並列セグメンテーションを用いた自動採点の検討
  • 著者名/発表者名: 西村竜一・栗原理沙・篠崎隆宏・石塚賢吉・山田武志・今井新悟・河原 英紀・入野俊夫
  • 学会等名: 日本音響学会2012年秋季研究発表会
  • 発表場所: 信州大学, 長野
• [学会発表] 日本語スピーキングテスト（SCAT)問題タイプの検証－日本語教員と音声認識システムによる採点結果から－
  • 著者名/発表者名: 赤木彌生・今井新悟・中園博美・家根橋伸子
  • 学会等名: 日本語教育学会研究集会第9回中国地区
  • 発表場所: 山口大学, 山口
• [学会発表] A report on Japanese Computerized Adaptive Test
  • 著者名/発表者名: Youichi Nakamura, Shingo Imai, Sukero Ito, Kenichi Kikuchi, Yayoi Akagi, Hiromi Nakasono, Akiko Honda, NISIMURA Ryuichi Nishimura, Takako Sakai, Takahiro Shinozaki and Takeshi Yamada
  • 学会等名: Korean English Language Association
  • 発表場所: 高麗大学, 韓国
• [学会発表] Automatic scoring method considering quality and content of speech for SCAT Japanese speaking test
  • 著者名/発表者名: Naoko Okubo, Yuto Yamahata, Takeshi Yamada, Shingo Imai, Kenkichi Ishizuka, Takahiro Shinozaki, Ryuichi Nisimura, Shoji Makino and Nobuhiko Kitawaki
  • 学会等名: Oriental COCOSDA 2012
  • 発表場所: University of Macau, China
• [学会発表] 日本語スピーキングテストSCATにおける文読み上げ・文生成問題の自動採点手法の改良
  • 著者名/発表者名: 山畑勇人, 大久保梨思子, 山田武志, 今井新悟, 石塚賢吉, 篠崎隆宏, 西村竜一, 牧野昭二, 北脇信彦
  • 学会等名: 日本音響学会2012年秋季研究発表会
  • 発表場所: 東京工科大学, 東京
• [学会発表] 日本語スピーキングテストにおける文生成問題の自動採点の検討
  • 著者名/発表者名: 大久保梨思子・山畑勇人・山田武志・今井新悟・石塚賢吉・篠崎隆宏・西村竜一・牧野昭二・北脇信彦
  • 学会等名: 日本音響学会2012年秋季研究発表会
  • 発表場所: 信州大学, 長野
• [学会発表] 日本語スピーキングテストにおける文章読み上げ問題の自動採点の検討
  • 著者名/発表者名: 山畑勇人・大久保梨思子・山田武志・今井新悟・石塚賢吉・篠崎隆宏・西村竜一・牧野昭二・北脇信彦
  • 学会等名: 日本音響学会2012年秋季研究発表会
  • 発表場所: 信州大学, 長野
• [学会発表] コンピュータによる日本語スピーキング自動採点システム－日本語教師による採点との相関による検証－
  • 著者名/発表者名: 今井新悟・石塚賢吉・山田武志・篠崎隆宏・西村竜一・酒井たか子・菊地賢一
  • 学会等名: 日本言語テスト学会
  • 発表場所: 専修大学, 神奈川
• [学会発表] スピーキング自動採点テストのための問題アイテム作成
  • 著者名/発表者名: 今井新悟・酒井たか子・伊東祐郎・赤木彌生・中園博美・本田朋子・家根橋伸子・山田武志・西村竜一・篠崎隆宏・中村洋一・菊池賢一・石塚賢吉
  • 学会等名: 日本語教育国際研究大会
  • 発表場所: 名古屋大学, 名古屋