2016 Fiscal Year Annual Research Report
言語情報と音楽情報の相互関係を考慮した歌詞の構造解析と生成
| Project/Area Number |
16J05945
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
渡邉 研斗 東北大学, 情報科学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2016-04-22 – 2018-03-31
|
| Keywords | 作詞支援インタフェース / 歌詞の構造解析 |
|---|
| Outline of Annual Research Achievements |
今年度は、(a)歌詞の繰り返し構造に関する研究と、(b)歌詞の潜在的意味構造に基づく作詞支援システムについての研究をし、その成果を学会に発表した。
(a)歌詞の繰り返し構造に関する研究は、International Conference on Computational Linguisticsにてポスター発表した。現代のポピュラー音楽は「Aメロ→Bメロ→サビ→Aメロ→Bメロ...」のような繰り返し構造を持つことが多い。本研究では、このような繰り返し構造を特徴量として用いることで、歌詞のテキスト情報（行の系列）のみから楽曲構造を自動推定した。具体的には大規模歌詞データから、Aメロなどの「ブロック」の切れやすさを教師あり学習した。その結果、繰り返し構造の特徴量を追加することで、ベースライン手法より高い精度で楽曲構造を推定することができた。
(b)作詞支援システムに関する研究は、Annual Meeting of the Intelligent User Interfaces Communityにて口頭発表した。作詞において、音符列やストーリー、歌いやすさなど複数の要素を同時に考慮しながら単語列を探索するのは非常に困難である。この問題点に対して、ユーザが入力した音符数・ストーリー展開・に対して歌いやすい歌詞候補を生成するレコメンドシステムを開発した。具体的には、大規模歌詞データから単語の使い方や潜在的意味構造の確率モデルを教師なし学習することでシステムを実装した。また、音楽教師を含む複数人のユーザ評価を実施した結果、提案システムが最も簡単にユーザの意図を反映された歌詞を作詞できることがわかった。なお、このシステムを公開するために現在システムを調整中である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
昨年度は歌詞の繰り返し構造の解析に関する研究とストーリーに基づく歌詞の創作支援インタフェースに関する研究を行い、論文として発表済みである。これらの成果は研究課題の目的である(1)音楽情報と言語情報の関係性に関する知見の獲得と(2)音楽情報と言語情報の関係性を考慮した作詞支援システムの構築と合致する。
さらに我々はメロディと歌詞の相関関係を検証するために、メロディと歌詞が対応づいた楽曲データを作成しており、本年度から、音楽情報を取り入れた歌詞の構造解析、作詞支援の研究が可能となった。
以上の状況より、本研究課題はおおむね順調に進展していると自己評価している。
|
| Strategy for Future Research Activity |
本年度は、我々が昨年度に作成したメロディと歌詞が対応づいた楽曲データを用いて、音楽情報と言語情報の関係性を考慮した歌詞の構造解析と自動生成に関する研究を進める。
まず、作成したデータを様々な視点から分析することで、作詞家が重要視している事項を定量的に検証する。例えば、楽曲の「1番」「2番」のようにメロディが繰り返されている箇所では、歌詞はどのように、どれくらい繰り返しが発生しているのか分析する。
次に分析で得られた知見を活かし、メロディに基づく自動歌詞生成手法を考案する。具体的にはテキスト生成の分野で成功している深層学習手法による歌詞生成モデルを構築する予定である。自動生成された歌詞の品質を評価することは難しいため、「歌いやすいか」「行間に矛盾はないか」などの主観評価スキームを設計しクラウドソーシングを用いて人間による5段階評価を実施する。
さらには構築した自動歌詞生成モデルを、昨年度に開発した作詞支援インタフェースに組み込む予定である。我々は、ユーザが入力したメロディに対して自然な単語列を探索するインタフェースを作ることで、今まで不可能だった新たなユーザ体験を可能にしたい。
|
