統計的機械学習による音楽情景分析と音楽的要素のディレクションの研究

2014 年度 実績報告書

• 研究課題/領域番号: 24700168
• 研究機関: 京都大学
• 研究代表者: 糸山 克寿 京都大学, 情報学研究科, 助教 (60614451)
• 研究期間 (年度): 2012-04-01 – 2015-03-31
• キーワード: 音楽情報処理 / 音源分離 / 歌声分離 / 残響抑圧 / 和音認識 / 音高推定

研究実績の概要

当該年度は1.雑音や分離歪みを含む楽器音からの楽器音合成器のパラメータ推定と楽器音の再合成技術の改善、2.一般的なポピュラー音楽などの歌声と伴奏の両方を含む音楽音響信号からの歌声・伴奏音分離技術とその基本周波数推定技術の開発、およびその歌声編集への応用、3.音楽音響信号に対する和音と音高の反復推定技術の開発、4.無限次元の自己回帰過程のベイズ推定に基づく残響抑圧技術の開発、に取り組んだ。
1.音源分離などに起因する雑音や歪みを含む楽器音に対して、それらを除去したクリーンな楽器音を得るための仮想楽器音源のパラメータを推定する。多数の楽器音をランダムに生成し、楽器音から音響特徴量とその統計量を計算する。重回帰分析を用いて音源パラメータと音源特徴量との関係を学習し、未知楽器音のパラメータをその関係を用いて推定する。
2.歌声と伴奏を分離し、歌声にビブラートやこぶしなどの歌唱表現を付与する音楽編集システムを開発した。歌声分離は2つのステップからなる。第1ステップでは入力混合音を伴奏成分と歌声成分に粗く分離する。第2ステップでは分離された歌声からその音高を推定し、音高に基づく調波構造マスクにより歌声を際立たせる。本歌声分離手法は、音楽情報処理アルゴリズムの世界的なコンテストであるMIREX2014の歌声分離トラックにおいて最高性能を達成した。
3.音響信号からその残響を取り除く手法を構築した。残響は音高推定や和音認識などの各種の音楽情報処理アルゴリズムの精度を大きく低下させるため、これらのアルゴリズムを頑健に動作させるための前処理として残響抑圧技術は有用である。
4.音楽音響信号に対する和音推定と音高推定の精度を高めるため、これらを反復的に実行する手法を実現した。入力楽曲に対して音高を粗く推定し、推定された音高から和音認識の特徴量を計算する。そこから和音を認識し、その結果を事前分布として用いることで再度音高推定を行う。

研究成果

• [雑誌論文] Automatic Speech Recognition for Mixed Dialect Utterances by Mixing Dialect Language Models (2015)
  • 著者名/発表者名: Naoki Hirayama, Koichiro Yoshino, Katsutoshi Itoyama, Shunsuke Mori, Hiroshi G. Okuno
  • 雑誌名: IEEE/ACM Transactions on Audio, Speech and Language Processing 巻: 23 ページ: 373-382
  • DOI: doi:10.1109/TASLP.2014.2387414
  • 査読あり
• [雑誌論文] Posture Estimation of Hose-shaped Robot by using Active Microphoe Array (2015)
  • 著者名/発表者名: Yoshiaki Bando, Takuma Otsuka, Kazuhiro Nakadai, Satoshi Tadokoro, Masashi Konyo, Katsutoshi Itoyama, HIroshi G. Okuno
  • 雑誌名: Advanced Robotics 巻: 29 ページ: 35-49
  • DOI: doi: 10.1080/01691864.2014.981291
  • 査読あり
• [雑誌論文] Nonparametric Bayesian dereverberation ofpower spectrograms based on infinite-orderautoregressive processes and interpretation (2014)
  • 著者名/発表者名: Akira Maezawa, Katsutoshi Itoyama, Hiroshi G. Okuno
  • 雑誌名: IEEE/ACM Transactions on Audio, Speech and Language Processing 巻: 22 ページ: 1918-1930
  • DOI: doi:10.1109/TASLP.2014.2355772
  • 査読あり
• [雑誌論文] 擬似生成した複数方言言語モデル混合による混合方言音声認識 (2014)
  • 著者名/発表者名: 平山 直樹, 吉野 幸一郎, 糸山 克寿, 森 信介, 奥乃 博
  • 雑誌名: 情報処理学会論文誌 巻: 55 ページ: 1681-1694
  • 査読あり
• [学会発表] Singing Voice Analysis and Editing based on Mutually Dependent F0 Estimation and Source Separation (2015)
  • 著者名/発表者名: Yukara Ikemiya, Katsutoshi Itoyama, Kazuyoshi Yoshii
  • 学会等名: 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2015)
  • 発表場所: Brisbane, Australia
  • 年月日: 2015-04-19 – 2015-04-24
• [学会発表] A FEEDBACK FRAMEWORK FOR IMPROVED CHORD RECOGNITION BASED ON NMF-BASED APPROXIMATE NOTE TRANSCRIPTION (2015)
  • 著者名/発表者名: Satoshi Maruo, Kazuyoshi Yoshii, Katsutoshi Itoyama, Matthias Mauch, Masata Goto
  • 学会等名: 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2015)
  • 発表場所: Brisbane, Australia
  • 年月日: 2015-04-19 – 2015-04-24
• [学会発表] CHALLENGES IN DEPLOYING A MICROPHONE ARRAY TO LOCALIZE AND SEPARATE SOUND SOURCES IN REAL AUDITORY SCENES (2015)
  • 著者名/発表者名: Yoshiaki Bando, Takuma Otsuka, Katsutoshi Itoyama, Kazuyoshi Yoshii, Yoko Sasaki, Satoshi Kagami, Hiroshi G. Okuno
  • 学会等名: 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2015)
  • 発表場所: Brisbane, Australia
  • 年月日: 2015-04-19 – 2015-04-24
• [学会発表] Recognition of In-field Frog Chorusing using Bayesian Nonparametric Microphone Array Processing (2015)
  • 著者名/発表者名: Yoshiaki Bando, Takuma Otsuka, Ikkyu Aihara, Hiromitsu Awano, Katsutoshi Itoyama, Kazuyoshi Yoshii, Hiroshi G. Okuno
  • 学会等名: AAAI-2015 Workshop on Comutational Sustainability
  • 発表場所: Austin, Texas USA
  • 年月日: 2015-01-25 – 2015-01-30
• [学会発表] Development of a Robot Quizmaster with Auditory Functions for Speech-based Multiparty Interaction (2014)
  • 著者名/発表者名: Izaya Nishimuta, Kazuyoshi Yoshii, Katsutoshi Itoyama, Hiroshi G. Okuno
  • 学会等名: 2014 IEEE/SICE International Symposium on System Integration (SII 2014)
  • 発表場所: Chuo Univ, Tokyo, Japan
  • 年月日: 2014-12-12 – 2014-12-13
• [学会発表] A Robot Quizmaster that can Localize, Separate, and Recognize Simultaneous Utterances for a Fastest-Voice-First Quiz Game (2014)
  • 著者名/発表者名: Izaya Nishimuta, Naoki Hirayama, Kazuyoshi Yoshii, Katsutoshi Itoyama, Hiroshi G. Okuno
  • 学会等名: IEEE-RAS Interanational Conference on Humanoid Robots (Humanoids 2014)
  • 発表場所: Madrid, Spain
  • 年月日: 2014-11-18 – 2014-11-20
• [学会発表] BAYESIAN AUDIO ALIGNMENT BASED ON A UNIFIED GENERATIVE MODEL OF MUSIC COMOSITION AND PERFORMANCE (2014)
  • 著者名/発表者名: Akira Maezawa, Katsutoshi Itoyama, Kazuyoshi Yoshii, Hiroshi G. Okuno
  • 学会等名: 2014 International Society on Music Information Retrieval Conference (ISMIR 2014),
  • 発表場所: Taipei, Taiwan
  • 年月日: 2014-10-27 – 2014-10-31
• [学会発表] Sound Annotation Tool for Multidirectional Sounds based on spatial information extracted by HARK robot audition software (2014)
  • 著者名/発表者名: Osamu Sugiyama, Katsutoshi Itoyama, Kazuhiro Nakadai, Hiroshi G. Okuno
  • 学会等名: IEEE International Conference on Systems, Man, and Cybernetics (SMC 2014)
  • 発表場所: San Diego, USA
  • 年月日: 2014-10-05 – 2014-10-08
• [学会発表] A Sound-based Online Method for Estimating the Time-Varying Posture of a Hose-shaped Robot (2014)
  • 著者名/発表者名: Yoshiaki Bando, Katsutoshi Itoyama, Satoshi Tadokoro, Masashi Konyo, Kazuhiro Nakadai, Kazuyoshi Yoshii, Hiroshi G. Okuno
  • 学会等名: 12th International Symposium on Safety, Security, and Rescue Robotics (SSRR-2014)
  • 発表場所: Toya, Japan
  • 年月日: 2014-10-01 – 2014-10-06
• [学会発表] Parameter Estimation of Virtual Musical Instrumental Synthesizers (2014)
  • 著者名/発表者名: Katsutoshi Itoyama, Hiroshi G. Okuno
  • 学会等名: 2014 Joint Conference on 11th Sound and Music Computing Conference (ICMC) and 40th International Computer Music Conference (SMC) (ICMC|SMC 2014)
  • 発表場所: Athens, Greece
  • 年月日: 2014-09-14 – 2014-09-20
• [学会発表] Visualization of auditory awareness based on sound source positions estimated by depth sensor and microphone array (2014)
  • 著者名/発表者名: Takahiro Iyama, Osamu Sugiyama, Takuma Otsuka, Katsutoshi Itoyama, Hiroshi G. Okuno
  • 学会等名: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2014)
  • 発表場所: Chicago, USA
  • 年月日: 2014-09-14 – 2014-09-18
• [学会発表] Development of automatic bird-species recognition system from birdsongs in tropical forests (2014)
  • 著者名/発表者名: Akira Maruyama, Motoko S. Fujita, Katsutoshi Itoyama, Hiroshi G. Okuno, Mamoru Kanzaki
  • 学会等名: 26th International Ornithological Congress (IOC2014)
  • 発表場所: Tokyo, Japan
  • 年月日: 2014-08-18 – 2014-08-24
• [学会発表] Automatic Transcription of Guitar Tablature from Audio Signals in Accordance with Player's Proficiency (2014)
  • 著者名/発表者名: Kazuki Yazawa, Katsutoshi Itoyama, Hiroshi G. Okuno
  • 学会等名: 2014 International Conference on Acoustics, Speech and Signal Processing (ICASSP 2014)
  • 発表場所: Florence, Italy
  • 年月日: 2014-05-04 – 2014-05-09
• [学会発表] Transcribing Vocal Expression from Polyphonic Music (2014)
  • 著者名/発表者名: Yukara Ikemiya, Katsutoshi Itoyama, Hiroshi G. Okuno
  • 学会等名: 2014 International Conference on Acoustics, Speech and Signal Processing (ICASSP 2014)
  • 発表場所: Florence, Italy
  • 年月日: 2014-05-04 – 2014-05-09
• [図書] Modern Advances in Applied Intelligence - the 27th International Conference on Industrial, Engineering and Other Applications of Applied Intelligence Systems, IEA/AIE-2014, Proceedings, Part II, Lecture Notes in Computer Science (2014)
  • 著者名/発表者名: Yukara Ikemiya, Katsutoshi Itoyama, Hiroshi G. Okuno
  • 総ページ数: 10
  • 出版者: Springer
• [備考] 京都大学 大学院情報学研究科 知能情報学専攻 音声メディア分野
  • URL: http://winnie.kuis.kyoto-u.ac.jp/
• [備考] MIREX 2014 Singing Voice Separation Results
  • URL: http://www.music-ir.org/mirex/wiki/2014:Singing_Voice_Separation_Results