ニューラルネットワーク言語モデルの適応的な自動構成法

2020 Fiscal Year Research-status Report

• Project/Area Number: 18K11354
• Research Institution: Kyoto University
• Principal Investigator: 秋田 祐哉 京都大学, 経済学研究科, 准教授 (90402742)
• Project Period (FY): 2018-04-01 – 2022-03-31
• Keywords: 音声認識 / ニューラルネットワーク / 言語モデル

Outline of Annual Research Achievements

本研究では，ニューラルネットワークを用いた音声認識器を認識対象の話題に対して個別に構成できるよう，ニューラルネットワーク言語モデルの適応に取り組む．講義・講演のような専門的な話題の場合，高精度に認識するため言語モデルを個別の話題に適応させることは不可欠である．ただし，従来のモデルとは異なり，ニューラルネットワークでは出力に影響する箇所が陽に与えられず，適応の際のパラメータ調整が難しい．しかも適応用のデータは通常は少量である．このため，ニューラルネットワーク言語モデルにおける構成（適応）手法はいまだ確立されていない．本研究では，ニューラルネットワーク言語モデルの形態や性能指標，また少量のデータでも機能する手法を検討して，ニューラルネットワークにおける効果的・効率的な構成法を目指す．この際，専門家でなくとも構成できるよう，自動的・自律的な手法を目標とし，実際の講義・講演などの話し言葉音声においてこの構成法の検証を行う．本年度は，ニューラルネットワーク言語モデルについて，昨年度のLSTMモデル以外の形態のモデルの実装と比較，およびモデルの精緻化について検討した．あわせてモデル（ニューラルネットワーク）の学習方法についても，計算量の観点も踏まえて検討を進めた．これらについて，本研究の検証プラットフォームである音声認識による自動字幕作成システムにおいて実装を図った．なお，本年度は所属先大学の講義がオンラインとなり，講義の録音・録画と配信が行われたことから，研究資料としてこれらの講義データの収集を行うとともに内容についても分析・検証を進めた．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

研究実施計画における研究内容の5項目（基本的なモデルのトポロジの検討，効果的・効率的な構成手法の比較検討，適応効果の最適な指標の定義，End-to-Endへの拡張，字幕タスクにおける評価・検証）のうち2項目はおおむね完了し，残り3項目を実施したが，感染症の流行にともない大学業務が増大したため，十分に進めることはできなかった．このため研究期間を1年間延長することとした．

Strategy for Future Research Activity

実施計画のうち3項目（基本的なモデルのトポロジの検討・効果的・効率的な構成手法の比較検討・適応効果の最適な指標の定義）について，引き続き実施する．

Causes of Carryover

学会等の中止やオンライン開催により旅費が執行できなかったため，次年度に旅費として，または物品費としての執行を予定する．