2014 Fiscal Year Annual Research Report
音声処理技術と言語処理技術を活用した電子ノート作成支援システムの研究
| Project/Area Number |
26282049
|
|---|
| Research Institution | University of Yamanashi |
|---|
Principal Investigator |
西崎 博光 山梨大学, 総合研究部, 助教 (40362082)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
秋葉 友良 豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (00356346)
北岡 教英 徳島大学, ソシオテクノサイエンス研究部, 教授 (10333501)
中川 聖一 豊橋技術科学大学, リーディング大学院教育推進機構, 特任教授 (20115893)
宇津呂 武仁 筑波大学, システム情報工学研究科(系), 教授 (90263433)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | 電子ノート / 音声認識 / 学習支援 / 音声インタフェース / 音声ドキュメント検索 / 講義音声 |
|---|
| Outline of Annual Research Achievements |
本研究では，授業で利用するための電子ノート作成支援システムを開発し，これによるノート作成補助および電子ノートコンテンツをeラーニング教材に利用したときの学習効果を実証することを目的としている．具体的な研究項目は，１．講師の話の聞き逃しを防ぐための，音声・映像（静止画）を包括的に記録できる電子ノート作成支援システムを開発する，２．授業音声の記録ならびに作成したノートコンテンツを有効利用するための音声処理・言語処理基盤技術を開発する，３．eラーニング支援として本システムの学習効果を実証実験で明らかにする，の3点である．これらの研究項目のうち，2014年度は１．および２．について取り組んだ．
まず１．に関連して電子ノート作成支援システムのプロトタイプを構築した．これは，講師音声の録音や，スクリーン・黒板板書をキャプチャ画像（と動画）で記録できる機能を持つ．また，音声認識結果を字幕のように提示させ，そこからメモに利用できる単語をドラッグ操作で選択することにより簡単にメモが記録できるユーザインタフェースを備えている．これにより，受講生のノート作成にかかる時間を短縮し講師の話を聞き逃すことを防いだり，授業内容を咀嚼する余裕を作り出したりすることができ，学習効果の改善が期待できる．
しかし，音声認識性能が悪いと学習効果が低下することが危惧される．また，録音（録画）されたデータを効率よく頭出しする技術があれば効率良く復習することが可能となる．そこで，２．の項目において，音声処理の高度化について取り組んだ．具体的には，新しい機械学習の枠組みを用いた音声の残響・雑音対策ならびに音声認識手法開発，指定したキーワードが授業音声のどこに位置しているのかを検出する技術の開発を行った．これらの技術は電子ノートシステムのユーザインタフェースやこれを用いた学習効果を高めるために必要不可欠である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
概ね順調に進展している．その理由は，実際に授業と連動して動作する電子ノート作成支援システムのプロトタイプを製作できたこと，音声・言語処理技術の基盤技術として，音声認識率の改善，キーワード検出性能の改善が見られたことにある．
まず，電子ノート作成支援システムの開発では，音声と画像を包括的に取り組んだノートシステムのプロトタイプシステムが完成した．このシステムでは，音声の録音，スライド投影や黒板板書の録画機能を備え，録音された音声を即座に音声認識し，字幕のように受講者のノート作成端末に提示するのが特徴である．このシステムを模擬授業ではあるが，授業音声と板書を包括的に電子ノートに記録できることを確認した．プロトタイプシステムの動作確認後は，手書きノートシステムとして有効性が実証されている「コーネル式ノート」を参考にして，ユーザインタフェースの改良に取り組んだ．これに加えて，複数の受講者が作成した電子ノートの共有機能の実装も進めている段階である．
電子ノートシステムで利用する音声・言語処理技術の基盤技術の開発においては，最新の機械学習理論（深層学習）を取り入れた技術を開発した．これにより，音声認識性能の改善や，指定したキーワードが音声中のどこに位置しているのかを見つけ出す技術である「音声中の検索語検出」の性能を大きく改善させることに成功した．
これらの技術は実際の授業では効果を測定していないが，評価音声データにおいて個々の技術の有効性を示すことができた．これらの成果については，学術学会において口頭発表を行っている．また，2014年度の研究成果を査読付きの国際会議や国内外の学術論文誌へ投稿する準備を進めている．
|
| Strategy for Future Research Activity |
2015年度は，2014年度の研究内容を継続して行う．具体的には，１．講師の話の聞き逃しを防ぐための，音声・映像（静止画）を包括的に記録できる電子ノート作成支援システムの改良，ならびに２．授業音声の記録ならびに作成したノートコンテンツを有効利用するための音声処理・言語処理基盤技術の開発と高度化を行う．
１．については，2014年度に完成した電子ノート作成支援システムのプロトタイプシステムを改良する．2014年度の末期に，このプロトタイプシステムについてユーザインタフェースの評価を中心とした被験者実験を行ったところ，インタフェースの使い勝手にやや問題が残る結果となった．問題点とは，音声認識精度が低いこと，メモとして記録する文字の配置やメモの移動（これは電子化のメリットでもある）の操作がしづらいということであった．被験者実験により得られた問題点，被験者からの意見を参考にして，より良いインタフェースを実現するための改良を実施していく予定である．
２．については，2014年度に開発した基盤技術（音声認識，雑音処理，音声中の検索語検出技術，音声ドキュメント検索技術）を改良し，より高度化していく予定である．また，新しい基盤技術の開発も行う．例えば，授業音声の認識率をより高めるためには，授業単元ごとの音声認識モデルの準備が必要となる．これを人間（講師）が「ほんの少しだけ」介在することで，半自動で高精度な音声認識を実現する方法・インタフェースを開発する．このように電子ノートシステムでは必要不可欠な「新しい」技術を開発していく予定である．2015年度後半から2016年度前半にかけて，各基盤技術を電子ノート作成支援システムに実装することを目標としている．
|
| Causes of Carryover |
2014年度は，世界的なハードウェア価格の高騰したため，効率良くかつ有効に予算を消化するために予定していた計算機などのハードウェアの購入を控えていた．幸いなことに，2014年度は想定していた以上の研究成果が出たため国際会議への出席が増えたこともあり，予定していた物品の購入を控え，研究成果の発表に集中的に投資した．その結果，若干の繰越金が発生した．
|
| Expenditure Plan for Carryover Budget |
2014年度下半期よりハードウェアの価格の下落が見られたため，2014年度と比べてより安価にハードウェアの調達が見込める．そこで，2014年度の繰越金と2015年度の予算を合わせて，高性能な計算機を2015年度の早い段階で購入する予定にしている．
本研究で研究に取り組む予定の音声・言語処理基盤技術開発では，最新の機械学習理論を導入する．これには非常に複雑な計算が必要であり，さまざまなパラメータなどの計算を行おうとすると計算時間が膨大に必要である．研究を効率化するためにも，汎用目的グラフィカル演算処理装置を備えた計算機の導入が不可避である．幸いにも繰越金を利用することで，ワンランク高い計算機を導入できる見込みを得られた．これにより，基盤技術開発をより高めることが可能となる．
|
