Automatic adaptation framework of neural network language model

2022 Fiscal Year Annual Research Report

• Project/Area Number: 18K11354
• Research Institution: Kyoto University
• Principal Investigator: 秋田 祐哉 京都大学, 経済学研究科, 教授 (90402742)
• Project Period (FY): 2018-04-01 – 2023-03-31
• Keywords: 音声認識 / ニューラルネットワーク / 言語モデル

Outline of Annual Research Achievements

本研究では，ニューラルネットワークを用いた音声認識器を認識対象の話題に対して個別に構成できるよう，ニューラルネットワーク言語モデルの適応に取り組む．講義・講演のような専門的な話題の場合，高精度に認識するため言語モデルを個別の話題に適応させることは不可欠である．ただし，従来のモデルとは異なり，ニューラルネットワークでは出力に影響する箇所が陽に与えられず，適応の際のパラメータ調整が難しい．しかも適応用のデータは通常は少量である．このため，ニューラルネットワーク言語モデルにおける構成（適応）手法はいまだ確立されていない．本研究では，ニューラルネットワーク言語モデルの形態や性能指標，また少量のデータでも機能する手法を検討して，ニューラルネットワークにおける効果的・効率的な構成法を目指す．この際，専門家でなくとも構成できるよう，自動的・自律的な手法を目標とし，実際の講義・講演などの話し言葉音声においてこの構成法の検証を行う．本年度は，昨年度に引き続きニューラルネットワーク・深層学習の技術の進展が著しいことから，新たなモデルの枠組みについて調査・検討を進めた．また，大学のオンライン講義のデータの収集を行った．研究期間全体を通じて，適応したニューラルネットワーク言語モデルを用いて事後的な字幕付与およびリアルタイムの字幕付与の双方を行う実装を行い，実際の講演等のデータを用いて適応の性能（音声認識精度・実行速度）を検証した．