2022 Fiscal Year Research-status Report
音声認識結果の要約と整形に基づく理解しやすい字幕の自動生成に関する研究
| Project/Area Number |
22K12122
|
|---|
| Research Institution | National Institute of Technology, Toyota College |
|---|
Principal Investigator |
村田 匡輝 豊田工業高等専門学校, 情報工学科, 准教授 (30707807)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 字幕生成 / 改行挿入 / 読点挿入 / 整形 / 要約 |
|---|
| Outline of Annual Research Achievements |
本研究では，講演や講義での音声に関する情報保障を目標に，音声認識結果に対して変換処理を施すことで，字幕として相応しいテキストを生成し提示するシステムの開発を目的とする．今年度は，以下の3項目を実施した．
1. 講演テキストへ読点および改行を同時的に挿入する手法の開発を推進した．意味的な切れ目を考慮せず，固定の文字数で改行が挿入されたテキストは読みにくいものとなる．また，改行の挿入位置と読点の挿入位置は相互に関連があると考えられるため，適切な位置に読点と改行を同時に挿入可能な本手法は読みやすい字幕テキストを生成するための重要な要素技術である．本手法では，人手で読点と改行を付与したテキストデータを学習データとして使用し，マルチタスク学習により改行，読点の挿入を同時に行う．評価実験の結果，本手法の有効性を確認した．
2. 1. の挿入手法を用いて音声認識結果へ読点と改行を挿入し提示するシステムの試作に取り組んだ．APIを用いて音声認識を実行し，その結果に対して読点と改行を挿入して表示するウェブアプリを構築した．
3. 講義音声の認識結果を対象とした要約データの作成を推進した．音声の認識結果をそのまま字幕として表示すると，読み切れない量の字幕が提示される可能性がある．そこで不要な文字列の削除やより短い表現への修正を行ったデータを作成した．具体的には，フィラーや繰り返し表現の削除，過剰な丁寧表現の修正，話し言葉的な理解しにくい構文となっている表現の修正を中心に実施した．また，作成したデータの一部を用いた要約手法の開発に着手した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究実施計画に従い，講義音声の認識結果に対して要約を施した字幕データの作成を推進し，一定量のデータを得た．データについては，要件の定義を再度検討し，引き続き作成，収集を行っていく．
作成したデータ，および，既存のデータを用いて，次年度以降に予定していた表示文字数を考慮した字幕提示のための要約手法の開発，講演テキストへの読点と改行の同時挿入手法の開発に前倒しで取り組んだ．読点と改行の同時挿入手法においては，評価実験まで実施し，一定の成果を得ることができた．
その他，音声認識を実行し，その結果に対して読点と改行を挿入して提示するシステムの開発を推進した．
|
| Strategy for Future Research Activity |
研究実施計画に従って，引き続き，本研究で自動生成を目指す字幕の正解データの作成，字幕提示のための要約手法の開発や，意味の区切れと行長のバランスを考慮した改行挿入手法の開発を推進し，評価実験，実験結果の分析，さらなる性能の向上に取り組む予定である．
その他，各要素技術を統合した字幕提示システムの開発，それを用いた主観評価の準備を推進する予定である．
|
| Causes of Carryover |
研究実施計画では，複数の字幕表記ガイドラインの調査およびガイドラインに従って作成された字幕データの分析を通して，字幕が満たすべき要件を定め，本研究で自動生成を目指す字幕の正解データとなるコーパスの構築を外注にて行う予定であった．しかし，要件定義を引き続き行うこととし，データの一部は外注ではなく自らが作成することにより構築したため，データ作成のための費用が未使用となった．また，新型コロナウイルス感染症の影響により，学会発表にオンラインで参加したため，それに係る旅費が未使用となった．
次年度以降，正解データの要件定義，データの作成について引き続き検討しつつ，開発予定の各手法の学習・評価用データの拡張，成果発表用の費用として使用する予定である．
|
