| 研究課題/領域番号 |
21K13641
|
|---|
| 研究機関 | 阿南工業高等専門学校 |
|---|
研究代表者 |
太田 健吾 阿南工業高等専門学校, 創造技術工学科, 准教授 (80712801)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| キーワード | 音声認識 / 音声要約 / ソーシャルアノテーション / 教育工学 / オンライン講義 / 講義コンテンツ |
|---|
| 研究実績の概要 |
本研究では、オンライン講義の動画やライブ配信に付与された学生のリアクション（投稿コメントや「いいね」など）と、講師の作成した講義コンテンツ（講義スライドやレジュメなど）を学習データに活用することで、講義音声の音声認識（自動書き起こし）と自動要約（重要な部分の自動抽出）を高精度化することを目指している。2022年度は、以下の研究内容を実施した。
【内容1】本研究の対象とする講義音声のような自由発話では、特定の原稿などを読み上げる朗読音声とは異なり、フィラーや言い淀みをはじめとする非流暢的音響特徴が音声認識における誤認識の原因となる。こうした話し言葉特有の問題をEnd-to-End型の音声認識で考慮するために、非流暢ラベルを用いる手法を昨年度に提案した。今年度は、大規模言語モデルBERT（Bidirectional Encoder Representations from Transformers）のfine-tuningに基づいて、非流暢ラベルを含まない書き言葉のテキストデータに対し、非流暢ラベルを疑似的に挿入する手法を提案した。これにより、書籍などの書き言葉のテキストデータを、講義音声などの自由発話の音声認識モデルの学習に効果的に利用することが可能となる。学術講演を対象とした評価実験により、提案手法の有効性を示した。
【内容2】本研究の対象とする講義音声では、専門性の高い発話内容が多く含まれることから、専門分野特有の言い回しや専門用語などを高精度に認識できることが重要である。このような場合には、音声認識モデルの学習において獲得される音響情報と言語情報のうち、特に言語情報を効果的に利用する手法が必要となる。今年度は、このための方法として昨年度に提案した Density Ratio Approach に基づく認識手法が、日本語の音声においても有効であることを評価実験によって示した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
オンライン講義の講義音声を対象とする音声認識では、フィラーや言い淀みといった話し言葉特有の問題と、専門性の高い発話内容（専門用語の頻出や数式の読み上げなど）が大きな問題となる。昨年度は、これら２つの問題に対応する手法を提案し、これらの手法によって講義音声の認識精度を改善できる可能性を示した。今年度は、これらの手法をさらに発展させ、また、実際の学術的内容を含む自発音声の認識において評価を行い、それぞれ有効性を示すことができた。これらの成果は、それぞれ国内会議および査読付き国際会議で発表することができた。特に、話し言葉特有の問題に関する対処方法については、音声処理分野において著名な会議の一つであるInterspeechで発表することができ、その成果が国際的に認められたものと考える。
本研究の最終タスクである音声要約において、その前段の音声認識の精度は重要である。これまでの研究により、講義音声を対象とする音声認識の高精度化において成果を挙げることができたため、後段の音声要約の研究がスムーズに進むことが期待できる。
以上より、おおむね順調に進展していると考えられる。
|
| 今後の研究の推進方策 |
2023年度は、本研究の最終タスクである音声要約に関する研究を行う。具体的には、音響特徴と言語特徴の両方を考慮した音声要約モデルを深層学習によって構築し、実際の講義音声を用いて評価を行う予定である。音響特徴を考慮する手法として、音声処理分野の各種タスクで高い性能を達成している自己教師あり学習モデルwav2vec 2.0やHuBERTを活用し、音声要約に有効な特徴表現を獲得することを検討する。また、言語特徴を考慮する手法として、大規模言語モデルBERTやGPT-3を活用し、音声要約に有効な文埋め込みや単語埋め込みを獲得することを検討する。ただし、近年では、ChatGPT（GPT-4）やPaLM 2といった新しいモデルがめざましく登場しており、今後も音声処理・自然言語処理技術の状況は変化していく可能性が考えられる。本研究では、こうした変化に柔軟に対応し、適切なモデルやアプローチによって研究を進めていく。
|
| 次年度使用額が生じた理由 |
新型コロナウィルスの感染拡大の影響により、参加予定であった学会の現地開催が中止されたため、旅費の使用額に変更があった。また、同影響により、半導体の供給不足が各国で発生したことから、本研究で用いる計算機の調達が予定通りに進行しなかったため、物品費の使用額にも変更があった。
|
