• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2018 年度 実績報告書

統計的文法理論と構成的意味論に基づく音楽理解の計算モデル

研究課題

研究課題/領域番号 16H01744
研究機関北陸先端科学技術大学院大学

研究代表者

東条 敏  北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (90272989)

研究分担者 平田 圭二  公立はこだて未来大学, システム情報科学部, 教授 (30396121)
浜中 雅俊  国立研究開発法人理化学研究所, 革新知能統合研究センター, チームリーダー (30451686)
長尾 確  名古屋大学, 情報学研究科, 教授 (70343209)
北原 鉄朗  日本大学, 文理学部, 准教授 (00454710)
吉井 和佳  京都大学, 情報学研究科, 准教授 (20510001)
大村 英史  東京理科大学, 理工学部情報科学科, 助教 (90645277)
松原 正樹  筑波大学, 図書館情報メディア系, 助教 (90714494)
研究期間 (年度) 2016-04-01 – 2021-03-31
キーワード木構造 / 楽曲解析 / GTTM / HMM / メロディー解析 / 和声解析 / 議論解析 / 創発
研究実績の概要

1. 楽曲の木構造生成においては,タイムスパン木における枝接合高さの正確化を図る提案を行った.この枝の高さの決定においては,カデンツ認識が重要である.このため,TPS理論の改良を行い,認識の精度を向上させた.さらにカデンツ認識のもととなるコード進行解析においてはHMMによる状態サイズの最適化を行い,和声機能の細分化を図った.またコードとメロディーの階層構造の定式化と統計的学習を行い,自動作曲支援システムを開発した.単旋律に対しては,確率的テンプレートによる繰り返し構造をの生成モデルの定式化と統計的学習を行い自動採譜に応用した.またタイムスパン木に対してギター演奏知識を関連付けるアノテーションシステムを構築した.
2. 木構造を生成する立場に対比させて,旋律概形から楽曲の構造認識・生成を行う立場からは,特に生成においては,JamSketchの改良と評価を行い,生成される旋律の品質の人間との比較を行うとともに,システム・インタフェースの改良を行った.ベースの旋律生成においてはHMMを用いた生成を実現した.
3. 木構造を他メディアへの応用する例としてディスカッションマイニングを行い,ディープラーニングによる要約の実験を行い,データ収集の仮想現実環境を実現した.またゲシュタルトに基づく議論構造の木構造解析を行い,議論の結論・展開・質問応答ペアの認識などから議論の要約システムを実現した.
4. 解析データベースは逐次解析例を収集中であるが,公開をめざして操作性の高い分析ツールの作成を行った.
5. 音楽の創発的認知においては,ピッチとリズムによる物理的な比の関係による格子平面の提案を行い,また12音平均律以外の音律における三和音における不協和度の視覚化を行った.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

当初の計画ではH29-30年度は,確率文脈自由文法と構成的木構造の統合を目標としているが,H30年度はこの両方において,上記研究実績の概要に記載したとおり,重要な進展があった.まず,タイムスパン木の構築においてはカデンツ認識の精度を上げることが喫緊の課題であったが,TPSの改良と枝接合の高さの両方において所定の成果を挙げ,楽曲の形式表現として十分なクオリティを確保することができた.これには木構造のみに頼らず局所的にHMMを用いることにより,和音列の調・度数同定においてその性能を高めたことが寄与している.
近年では木構造構築においても統計的な学習方法が主流となっているが,コード列認識・メロディー認識において階層的な木構造を作るシステムが確率文脈自由文法に依存するシステムとしたところが本申請課題においてもよく効果を上げている.文法は規範であると同時に統計的によってもその規則を構成するという考え方が言語のみならず音楽にも同様に適用できることを世に示したことは大きい.
木構造によるメロディー認識は,旋律線としてみたときの図形的な概形としての認識と対比して,あるいは統合して評価する必要がある.現在では両システムは独立に成果を挙げているが,本申請課題の後半に向けての課題である.
本申請課題においては構成的意味論を木構造に付与する課題を当初より目標としていた.このテーマに関しても当該年度は演奏知識のアノテーションという形で実現をみることができた.
その他,木構造の他メディア,具体的には議論構造などへの応用,および音律の自己組織的形成など応用面に関わる分野の成果は順調である.将来に向けては,解析例のデータベース公開が今後の課題として挙げられる.

今後の研究の推進方策

1. 木構造の統計的構成とタイムスパン木の精度においては十分な成果を挙げたところで,今年度は,意味情報のアノテーションを企図する.前年度までは演奏情報の付与を行ったがこのテーマを継続するとともに,木構造内の参照関係を明示する枠組みを構築し,構成的意味付与の課題を推進する.
2. 旋律認識についてはポリフォニックな旋律に対する音楽言語モデルに定式化に取り組み,自動採譜に応用する.また,ウェーブレット変換などの信号処理技術を用いた旋律概形抽出,および旋律概形をもとにした自動作曲・自動編曲に取り組む.
3. 本申請課題後半に向けて,応用システムの実現も課題となる.本年度はジャズ即興演奏の意図を理解する演奏家モデルの構築を通して,ジャズ音楽家が即興演奏を通じて長期間に渡り相互理解を深め合っていく仕組みを解明する.また木構造の簡約を用いた変奏曲の自動生成に取り組む.
4. ディスカッションマイニングについては,前年度までに構築した仮想現実環境を用いてディスカッションに伴うさまざまなデータを収集し分析する.
5. 音律の自己組織化については,認知的意味の定量的形式化を行う.
以上に加え,前年度までの取り組みと同様,解析例データベースの作成と構成的意味構造の設計・構築を合わせて今後の推進方策とする.

  • 研究成果

    (41件)

すべて 2019 2018 その他

すべて 雑誌論文 (6件) (うち国際共著 1件、 査読あり 6件) 学会発表 (32件) (うち国際学会 23件、 招待講演 1件) 図書 (1件) 備考 (1件) 産業財産権 (1件)

  • [雑誌論文] Two Approaches to Supporting Improvisational Ensemble for Music Beginners based on Body Motion Tracking2019

    • 著者名/発表者名
      Shugo Ichinose, Souta Mizuno, Shun Shiramatsu, and Tetsuro Kitahara
    • 雑誌名

      International Journal of Smart Computing and Artificial Intelligence

      巻: 3 ページ: 143-185

    • DOI

      10.1109/IIAI-AAI.2017.145

    • 査読あり / 国際共著
  • [雑誌論文] Picognizer:電子音の認識のためのJavaScriptライブラリの開発と評価2019

    • 著者名/発表者名
      栗原 一貴, 植村 あい子, 板谷 あかり, 北原 鉄朗, 長尾 確
    • 雑誌名

      情報処理学会論文誌

      巻: 60 ページ: 397-410

    • DOI

      10.1145/2582051.2582070

    • 査読あり
  • [雑誌論文] 言語・非言語情報に基づく議論構造化と要約生成を繰り返しながら議事録を生成するシステムの実現2019

    • 著者名/発表者名
      三浦寛也, 竹川佳成, 寺井あすか, 平田圭二
    • 雑誌名

      日本知能情報ファジィ学会誌論文誌知能と情報

      巻: 31 ページ: 572-581

    • DOI

      10.3156/jsoft.31.1_572

    • 査読あり
  • [雑誌論文] Chord-Aware Automatic Music Transcription Based on Hierarchical Bayesian Integration of Acoustic and Language Models2018

    • 著者名/発表者名
      Yuta Ojima, Eita Nakamura, Katsutoshi Itoyama, Kazuyoshi Yoshii
    • 雑誌名

      APSIPA Transactions on Signal and Information Processing

      巻: 7-e14 ページ: 1-14

    • DOI

      10.1017/ATSIP.2018.17

    • 査読あり
  • [雑誌論文] Statistical Piano Reduction Controlling Performance Difficulty2018

    • 著者名/発表者名
      Eita Nakamura, Kazuyoshi Yoshii
    • 雑誌名

      APSIPA Transactions on Signal and Information Processing

      巻: 7-e13 ページ: 1-12

    • DOI

      10.1017/atsip.2018.18

    • 査読あり
  • [雑誌論文] Generative Statistical Models with Self-Emergent Grammar of Chord Sequences2018

    • 著者名/発表者名
      Hiroaki Tsushima, Eita Nakamura, Katsutoshi Itoyama, Kazuyoshi Yoshii
    • 雑誌名

      Journal of New Music Research

      巻: 47 ページ: 226-248

    • DOI

      10.1080/09298215.2018.1447584

    • 査読あり
  • [学会発表] 歌詞と音楽が与える印象の分析2019

    • 著者名/発表者名
      河村 翔太, 植村 あい子, 北原 鉄朗
    • 学会等名
      日本音響学会 2019年春季研究発表会
  • [学会発表] 旋律概形と筆圧感知を用いた作曲支援システム2019

    • 著者名/発表者名
      安原 茜, 藤井 潤子, 北原 鉄朗
    • 学会等名
      情報処理学会 インタラクション2019
  • [学会発表] Point Cloud Colorization Based on Densely Annotated 3D Shape Dataset.2019

    • 著者名/発表者名
      Xu Cao and Katashi Nagao
    • 学会等名
      25th International Conference on MultiMedia Modeling
    • 国際学会
  • [学会発表] Building-Scale Virtual Reality: Another Way to Extend Real World2019

    • 著者名/発表者名
      Katashi Nagao, Menglong Yang, Xu Cao and Yusuke Miyakawa
    • 学会等名
      IEEE 2nd International Conference on Multimedia Information Processing and Retrieval
    • 国際学会
  • [学会発表] Development of Agents for Creating Melodies and Investigation of Interaction between the Agents2019

    • 著者名/発表者名
      H. Ohmura, T. Shibayama, K. Hirata, and S. Tojo,
    • 学会等名
      11th International Conference on Agents and Artificial Intelligence
    • 国際学会
  • [学会発表] Proposal of an Annotation Method for Integrating Musical Technique Knowledge Using a GTTM Time-Span Tree2019

    • 著者名/発表者名
      Nami Iino, Mayumi Shimada, Takuichi Nishimura, Hideki Takeda, Masatoshi Hamanaka
    • 学会等名
      25th International Conference on MultiMedia Modeling (MMM2019)
    • 国際学会
  • [学会発表] JamSketch: Improvisation Support System with GA-Based Melody Creation from User’s Drawing2018

    • 著者名/発表者名
      Tetsuro Kitahara, Sergio Giraldo, and Rafael Ramirez
    • 学会等名
      CMMR 2018
    • 国際学会
  • [学会発表] Four-Part Harmonization: Comparison of a Bayesian Network and a Recurrent Neural Network2018

    • 著者名/発表者名
      Tatsuro Yamada, Tetsuro Kitahara, Hiroaki Arie, and Tetsuya Ogata
    • 学会等名
      CMMR 2018
    • 国際学会
  • [学会発表] JamGesture: An Improvisation Support System Based on Physical Gesture Observed with Smartphone2018

    • 著者名/発表者名
      Souta Mizuno, Tetsuro Kitahara, Shun Shiramatsu, and Shugo Ichinose
    • 学会等名
      The 24th ACM Symposium on Virtual Reality Software and Technology (VRST 2018)
    • 国際学会
  • [学会発表] An improvisation System for Disabilities based on Melody Creation with Gaze Control2018

    • 著者名/発表者名
      Tetsuro Kitahara, Yasuyuki Saito, Sergio Giraldo, Rafael Ramirez
    • 学会等名
      Computer Simulation of Musical Creativity (CMSC2018)
    • 国際学会
  • [学会発表] Preliminary Study on Morphing of Chord Progression2018

    • 著者名/発表者名
      Aiko Uemura, Tetsuro Kitahara
    • 学会等名
      3rd conference on Computer Simulation of Musical Creativity
    • 国際学会
  • [学会発表] HamoKara: A System for Practice of Backing Vocals for Karaoke2018

    • 著者名/発表者名
      Mina Shiraishi, Kozue Ogasawara, Tetsuro Kitahara
    • 学会等名
      15th comference on Sound and Music Computing
    • 国際学会
  • [学会発表] ジャズのベースラインの自動生成2018

    • 著者名/発表者名
      志賀 あゆみ, 北原 鉄朗
    • 学会等名
      日本音響学会 2019年春季研究発表会
  • [学会発表] コードモーフィングに基づくリハーモナイゼーションの一検討2018

    • 著者名/発表者名
      植村 あい子, 北原 鉄朗
    • 学会等名
      日本音響学会 2019年春季研究発表会
  • [学会発表] メロディ生成における生成単位に関する一調査2018

    • 著者名/発表者名
      北原 鉄朗
    • 学会等名
      情報処理学会 第121回音楽情報科学 研究会
  • [学会発表] HMDを用いたヴァーチャルなドラム演奏環境の試作:合奏相手を表すヴァーチャルキャラクターの導入2018

    • 著者名/発表者名
      石山 俊之, 北原 鉄朗
    • 学会等名
      エンタテインメントコンピューティングシンポジウム2018
  • [学会発表] コード進行に関するモーフィングの初期検討2018

    • 著者名/発表者名
      植村 あい子, 北原 鉄朗
    • 学会等名
      情報処理学会 音楽情報科学研究会
  • [学会発表] Minutes Generation System Based on Hierarchical Discussion Structure2018

    • 著者名/発表者名
      Hiroya Miura, Yoshinari Takegawa, Asuka Terai, Keiji Hirata
    • 学会等名
      IEEE/WIC/ACM International Conference on Web Intelligence (WI) 2018
    • 国際学会
  • [学会発表] Discussion Summarization Based on Hierarchical Structure Using Verbal and Non-Verbal Information2018

    • 著者名/発表者名
      Hiroya Miura, Yoshinari Takegawa, Asuka Terai, and Keiji Hirata,
    • 学会等名
      International Conference on Internet and Multimedia Technologies (ICIMT) 2018, in World Congress on Engineering and Computer Science
    • 国際学会
  • [学会発表] Computational Detection of Local Cadence on Revised TPS2018

    • 著者名/発表者名
      Masaki Matsubara, Yuki Ishiwa, Yui Uehara, and Satoshi Tojo
    • 学会等名
      3rd conference on Computer Simulation of Musical Creativity (CSMC2018)
    • 国際学会
  • [学会発表] Music Generation System Based on a Human Instinctive Creativity2018

    • 著者名/発表者名
      H. Ohmura, T. Shibayama, K. Hirata, and S. Tojo
    • 学会等名
      Computer Simulation of Musical Creativity (CSMC2018)
    • 国際学会
  • [学会発表] Development of a Music Generation System Based on a Human Instinctive Creativity and a Communication between Human and Music2018

    • 著者名/発表者名
      H. Ohmura
    • 学会等名
      APSCIT 2018 Annual Meeting
    • 国際学会 / 招待講演
  • [学会発表] 音と色における雰囲気の定量的変換の試み2018

    • 著者名/発表者名
      大村英史, 湯浅将英, 中川隆
    • 学会等名
      HCGシンポジウム2018
  • [学会発表] Towards Complete Polyphonic Music Transcription: Integrating Multi-Pitch Detection and Rhythm Quantization2018

    • 著者名/発表者名
      Eita Nakamura, Emmanouil Benetos, Kazuyoshi Yoshii, Simon Dixon
    • 学会等名
      IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP
    • 国際学会
  • [学会発表] Correlated Tensor Factorization for Audio Source Separation2018

    • 著者名/発表者名
      Kazuyoshi Yoshii
    • 学会等名
      IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)
    • 国際学会
  • [学会発表] ndependent Low-Rank Tensor Analysis for Audio Source Separation2018

    • 著者名/発表者名
      Kazuyoshi Yoshii, Koichi Kitamura, Yoshiaki Bando, Eita Nakamura, Tatsuya Kawahara
    • 学会等名
      European Signal Processing Conference (EUSIPCO)
    • 国際学会
  • [学会発表] Interactive Arrangement of Chords and Melodies Based on a Tree-Structured Generative Model2018

    • 著者名/発表者名
      Hiroaki Tsushima, Eita Nakamura, Katsutoshi Itoyama, Kazuyoshi Yoshii
    • 学会等名
      International Society for Music Information Retrieval Conference (ISMIR)
    • 国際学会
  • [学会発表] Probabilistic Sequential Patterns for Singing Transcription2018

    • 著者名/発表者名
      Eita Nakamura, Ryo Nishikimi, Simon Dixon, Kazuyoshi Yoshii
    • 学会等名
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
    • 国際学会
  • [学会発表] Sequential Generation of Singing F0 Contours from Musical Note Sequences Based on WaveNet2018

    • 著者名/発表者名
      Yusuke Wada, Ryo Nishikimi, Eita Nakamura, Katsutoshi Itoyama
    • 学会等名
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
    • 国際学会
  • [学会発表] Applying Melody Morphing Method to Composition2018

    • 著者名/発表者名
      Masatoshi Hamanaka, Keiji Hirata, Satoshi Tojo
    • 学会等名
      3rd Conference on Computer Simulation of Musical Creativity (CSMC2018)
    • 国際学会
  • [学会発表] GTTM Database and Manual Time-span Tree Generation Tool2018

    • 著者名/発表者名
      Masatoshi Hamanaka, Keiji Hirata, Satoshi Tojo
    • 学会等名
      15th Sound and Music Computing Conference (SMC2018)
    • 国際学会
  • [学会発表] GTTMタイムスパン木を用いた楽器演奏知識のアノテーション手法の提案2018

    • 著者名/発表者名
      飯野なみ, 島田真弓, 西村拓一, 浜中雅俊
    • 学会等名
      情報処理学会 音楽情報科学研究会研究報告
  • [図書] Artificial Intelligence Accelerates Human Learning: Discussion Data Analytics2019

    • 著者名/発表者名
      Katashi Nagao
    • 総ページ数
      160
    • 出版者
      Springer Nature Singapore Pte Ltd.
    • ISBN
      978-981-13-6174-6
  • [備考] GTTM Generative Theory of Tonal Music

    • URL

      http://gttm.jp/gttm/

  • [産業財産権] 信号波形合成装置および信号波形合成方法2019

    • 発明者名
      平田圭二
    • 権利者名
      公立はこだて未来大学
    • 産業財産権種類
      特許
    • 産業財産権番号
      特願 2019-056907

URL: 

公開日: 2019-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi