2019 Fiscal Year Research-status Report
方言音声のビデオアーカイブ化と方言音声理解のための情報処理技術の確立
| Project/Area Number |
18K11358
|
|---|
| Research Institution | Iwate Prefectural University |
|---|
Principal Investigator |
伊藤 慶明 岩手県立大学, ソフトウェア情報学部, 教授 (90325928)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
李 時旭 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (50415642)
松原 雅文 岩手県立大学, ソフトウェア情報学部, 准教授 (70363728)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 方言音声処理 / 音声キーワード検索 / 音声認識 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
本研究課題では、現在の語り部を対象として遠野昔話の収録を行い、遠野方言・民話保存活動に関する地域貢献を果たすことと、標準語とは音素体系が異なる方言音声に対して検索技術を確立すること、さらに、一般の人が遠野方言の民話を聞いても理解できるように語りの理解をサポートする技術を確立すること、これらを研究の目的としている。この目的のもと、2019年度は以下の研究開発を推進した。
① 方言音声のデータベース化：遠野文化研究センターおよび遠野昔話語り部の会と協力して、遠野地方の語り部が話す民話のビデオ収録を完了し、13人約14時間の方言音声を含むビデオデータが構築できた。遠野方言・民話保存活動を進めている遠野地域へ無料で提供し地域貢献を果たすことができた。
② 方言音声の検索システムの研究開発：一般に方言には辞書がなく、方言音声にテキストが付与されたデータがなく、標準語の音声認識システムを利用できない。標準語の単語体系・音素体系と異なる方言音声に対して、我々の開発した語彙に依存しない音声検索システムの適用を行った。本年度は、検索精度を向上させるため、最新のLong short term memory(LSTM)や双方向LSTM等の深層学習モデルの利用を図った。また、方言音声の検索に、英語などの多言語を用いることにより検索精度の向上を図った。これらの検索技術を応用し、語り部が話している民話中のキーワードに対しリアルタイムに検索・検出を可能にするシステムの検討を行った。
その結果、LSTMや双方向LSTM等の最新の深層学習モデルを複数併用することで高い検索精度が得られること、日本語以外の言語の音声認識システムを用いることで検索精度が向上する可能性があることを確認できた。さらにリアルタイムにキーワード検索を実現するために、Posteriorgramを集約することで高速化できることが確認できた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題は、以下３つのサブテーマから構成されており、それぞれのテーマについておおむね順調に進展している。
①方言音声の収録：遠野文化研究センターおよび遠野昔話語り部の会と協力して、遠野地方の語り部が話す民話のビデオ収録を完了し、13人約14時間の方言音声を含むビデオデータの構築が完了した。遠野文化研究センターおよび遠野昔話語り部の会に対して無料でビデオデータを提供し地域に貢献し、当初の目的を果たすことができた。
②方言音声の検索システムの研究開発：方言音声の検索システムの開発を進め、本年度は検索精度の向上と、検索速度の向上に取り組んだ。前者についてはLSTMや双方向LSTM等の最新の深層学習モデルを複数併用することで高い検索精度が得られること、日本語以外の言語の音声認識システムを用いることで検索精度が向上する可能性があることを確認でき、順調に進展している。後者についてはPosteriorgramを集約することで高速化できることが確認できたが、リアルタイム性についての検討が課題として残っているが、おおむね順調に進展している。
③方言理解サポートシステムの研究開発：方言理解サポートシステムを実現するため年度は主に②の方言音声の検索システムの研究開発を進め本年度はフィージビリティスタディ（どのタイミングで・どのようにキーワード情報を提供すれば理解のサポートになるか等）を開始した。来年度、今年度までに研究開発した技術に基づき、方言理解サポートシステムの研究開発を進めていく予定である。
|
| Strategy for Future Research Activity |
今後の研究の推進方策は、本研究課題を構成する3つのサブテーマについてそれぞれ以下の通りである。
① 方言音声の整備： 先行して研究した芸術家の技術伝承のためのビデオアーカイブ化技術を生かして、2019年度までにトータル3人計約14時間のビデオデータの構築を行った。遠野方言・民話保存のデータベース化を推進し、地域貢献を果たした。2020年度は音声言語処理の研究用のデータとしてキーワードの作成と正解区間の策定を進めていく。
②方言音声の検索システムの研究開発：方言音声の検索システムの開発を継続し、2020年度は検索精度と検索速度のさらなる向上と、必要メモリ量の削減に取り組む。高い検索精度かつ高速かつ低メモリの方言検索システムの研究開発を進め、方言音声のリアルタイム検索の実現を図る。
③方言理解サポートシステムの研究開発：方言で民話が話されている最中に、その民話を標準語化した字幕を表示しても、民話の温かさが失われ望ましくない。一方、聞き手が分からないキーワードがその場でその意味を聞き手に提供できれば、聞き手は民話の内容を理解しやすくなる。そこで本研究課題では、②の方言検索システムを拡張し、民話の重要キーワードをスポッティング的に検出し、リアルタイムに聞き手の理解を支援するシステムの構築を目標としている。2020年度はそのデモシステムの構築を進める。
|
| Causes of Carryover |
端数で使用できなかったため。
来年度、消耗品などで有効に使う計画である。
|
