| 研究課題/領域番号 |
20K19878
|
|---|
| 研究機関 | 国立研究開発法人産業技術総合研究所 |
|---|
研究代表者 |
渡邉 研斗 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究員 (50828324)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2023-03-31
|
| キーワード | 自然言語処理 / 音楽情報処理 / ヒューマンコンピュータインタラクション / 創作支援 / 歌詞情報処理 |
|---|
| 研究実績の概要 |
本年度は、歌詞を包括的に分析するための前処理技術開発に力を入れた。歌詞は作家性が強いため、文章として不自然な箇所で改行/段落分けされることが多い。そのため最新の言語処理技術であっても精緻な分析が難しい。そこで1.自動段落分け、2.サビ箇所推定、3.文修正技術を開発した。すでに開発済みの技術1と2は最新手法の導入により精度の向上を実現し、技術3に関しては昨年度に作成した訓練データを用いて新開発した。現在は前処理された歌詞データを使い、意味と作家スタイルの両面から歌詞を分析する技術を開発中である。
また、昨年度に開発した「音楽の雰囲気」と「正しい文法」の両方を満たした単語を補完する支援技術を国際ワークショップであるNLP4MuSA2021にて発表し、関心を持つ多くの研究者や音楽配信系の開発者に技術及び本研究テーマの重要性に関する啓蒙活動を行った。
また、本年度は歌詞の内容や作者の作風を分析するインタフェースを開発するにあたり、「歌詞の意味的内容の類似性」と「歌詞のスタイル（作者の作風や言葉遣い、文法的構造）の類似性」を捉える特徴量学習の開発に取り組んだ。具体的には、自然言語処理分野/音楽情報処理分野の両面から「歌詞および楽曲の類似度」に着目し、一千万曲以上の歌詞や音源データを用いて様々な機械学習モデルの構築及びパラメータの調整を行ったが、従来の特徴量学習手法では歌詞の大まかな意味の類似性しか捉えられないことがわかった。しかし、膨大な調査の結果、問題点とその解決策が明らかになっており、次年度ではその解決策を実施する。研究成果として、音楽音響信号のみから歌詞の意味的類似性を捉える技術を開発し、その成果をまとめた論文を音楽情報処理の国際会議であるInternational Society for Music Information Retrieval へ投稿する予定である。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
「歌詞の意味的内容の類似性」と「歌詞のスタイル（作者の作風や言葉遣い、文法的構造）の類似性」を捉える特徴量学習には、類似した2文の正解ペアが必要となるが、従来手法のように「同一文章内の異なる2文」や「隣り合った2文」などの正解ペアを用いても、同じ意味の文同士が類似するような特徴量は得られなかった。また、特徴量学習に関しても深層学習ベースのモデルは多種多様かつパラメータも膨大であるため、良いモデルの学習は困難を極めた。また、歌詞テキストは文で改行されていないため、意味として成り立つ1文になるように整形する必要もあった。そのため、本年度はデータ整形及び、特徴量学習に関する知見の蓄積及びパラメータ探索などを重点的に行ったため、研究計画が遅れてしまった。しかしながら本年度で得られた知見から、歌詞の具体的な意味や、スタイルの類似性を捉える具体的な解決方策は見えている。
|
| 今後の研究の推進方策 |
本年度は「この作品と類似した内容の新しい作品を作りたい」「このアーティストと類似したスタイルの新しい作品が作りたい」のような、「類似性」を応用することで「作者の意図」を抽出する。さらに、歌詞DB内から抽出した類似した2文対を入出力とした翻訳器を学習することで、入力した作品と類似しているが全く新しい作品を生成する支援システムを開発する。上記技術の研究開発のためには、教師データとして「意味は類似しているが、表層が異なる2つの文ペア」が必要となるため、本年度は機械翻訳を用いた逆翻訳により、大量の教師データを自動獲得する予定である。この教師データを用いることで、より具体的な意味の類似性を捉えた特徴量が学習可能になるだけでなく、類似した作品を検索するシステムシステムや、類似した作品を生成する創作システムが開発可能となり、本課題の最終目的である「包括的な作文支援システム」の開発が可能となる予定である。
|
| 次年度使用額が生じた理由 |
国際会議参加のための海外出張を予定していたが、新型コロナウィルス感染拡大防止のため、渡航禁止となり、出張する必要がなくなったため、次年度使用額が 生じた。次年度は研究開発に用いるデータの作成費用に使用する。
|
