2018 Fiscal Year Research-status Report
方言音声のビデオアーカイブ化と方言音声理解のための情報処理技術の確立
| Project/Area Number |
18K11358
|
|---|
| Research Institution | Iwate Prefectural University |
|---|
Principal Investigator |
伊藤 慶明 岩手県立大学, ソフトウェア情報学部, 教授 (90325928)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
李 時旭 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (50415642)
松原 雅文 岩手県立大学, ソフトウェア情報学部, 准教授 (70363728)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 方言音声処理 / 音声中の検索語検出 / 音声認識 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
本研究課題では、現在の語り部による民話の収録を新たに行い、遠野方言・民話保存活動に関する地域貢献を果たすことと、標準語とは音素体系が異なる方言音声に対して検索技術を確立すること、また、一般の人が遠野方言の民話を聞いても理解できるように語りの理解をサポートする技術を確立すること、これらを目的として、2018年度は以下の研究開発を実施した。
① 方言音声の収録：遠野文化研究センターおよび遠野昔話語り部の会と協力して、遠野地方の語り部が話す民話のビデオ収録を開始し、現段階で10人約10時間の方言音声を含むビデオデータが構築できた。遠野方言・民話保存活動を進めている遠野地域への地域貢献を果たすことができた。
② 方言音声の検索システムの研究開発：方言には辞書やテキストで記述されたデータがなく、単語をベースとした音声認識システムを利用できない。標準語の音声認識システムの音素体系・単語体系が異なる方言音声に対して、既に研究開発を行っている語彙に依存しない音声検索システムの応用を図った。音声認識システムの音響的特徴モデルと方言の音響的特徴とは異なるため、最新の深層学習モデルを方言音声に適用した。まずは、方言音声の情報処理技術の確立の第一歩として、語り部が話している民話中のキーワードに対し検索・検出を可能にするシステムの研究開発を行った。また、方言音声の検索に、キーワードをテキストあるいは音声で与えた場合の検索方式の検討を行い、検索に適切な音声言語単位を評価した。
その結果、音声で検索キーワードを与える場合よりもテキストで検索キーワードを与える方が高い検索精度が得られること、また、テキストで検索する場合、音声データを処理する言語単位を単語、音節等があるが、これらを複数並列して用いて検索し、結果を統合することでより高い精度が得られることを研究開発した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題は、以下３つのサブテーマから構成されている。
① 方言音声の収録、② 方言音声の検索システムの研究開発、③方言理解サポートシステムの研究開発：
2018年度は予定通り主に①の方言音声の収録および②の方言音声の検索システムの研究開発を中心に進めた。①の方言音声の収録については当初20人の語り部に対して20時間の収録を目標としていたが、本年度でほぼ半数を実施することができ、計画通りである。そのデータの一部については既に、遠野市の文化研究センターおよび遠野昔話語り部の会に提供し、地域貢献を果たした。
②の方言音声の検索システムの研究開発については、③の方言理解サポートシステムに繋げるため、高精度・リアルタイムでの検索を実現すべく、検索キーワードをどのように（音声・テキスト）で与えるべきかの検討をかさね、2018年度は研究実績の概要で述べたように様々な知見が得られ、今後の方向性を示すことができた。本サブテーマについてもおおむね計画通りの進捗状況にある。
|
| Strategy for Future Research Activity |
今後の研究の推進方策は、本研究課題を構成する3つのサブテーマについてそれぞれ以下の通りである。
① 方言音声の収録：引き続き遠野文化研究センターおよび遠野昔話語り部の会と協力して、遠野地方の語り部が話す民話の収録を継続し、2019年度はトータル20人各10話程度ずつ約20時間のビデオデータの構築を目指すとともに、先行して研究した芸術家の技術伝承のためのビデオアーカイブ化技術を生かして、遠野方言・民話保存のアーカイブ化を推進し、地域貢献を果たすとともに、音声言語処理の研究用のデータとして提供・利用可能性を検討していく。
③方言理解サポートシステムの研究開発：方言で民話が話されている最中に、その民話を標準語化した字幕を表示しても、民話の温かさが失われ望ましくない。一方、聞き手が分からないキーワードがその場でその意味を聞き手に提供できれば、聞き手は民話の内容を理解しやすくなる。そこで本研究課題では、②の方言検索システムを拡張し、民話の重要キーワードをスポッティング的に検出し、リアルタイムに聞き手の理解を支援するシステムの構築を目標としている。2019年度はそのフィージビリティスタディ（どのタイミングで・どのようにキーワード情報を提供すれば理解のサポートになるか等）を実施する。
|
