統計的機械学習による音楽情景分析と音楽的要素のディレクションの研究

• 研究課題/領域番号: 24700168
• 研究種目: 若手研究(B)
• 配分区分: 基金
• 研究分野: 知覚情報処理・知能ロボティクス
• 研究機関: 京都大学
• 研究代表者: 糸山 克寿 京都大学, 情報学研究科, 助教 (60614451)
• 研究期間 (年度): 2012-04-01 – 2015-03-31
• 研究課題ステータス: 完了 (2014年度)
• 配分額: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円); 2014年度: 910千円 (直接経費: 700千円、間接経費: 210千円); 2013年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円); 2012年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
• キーワード: 能動的音楽鑑賞 / 音源分離 / 歌声分離 / 自動採譜 / 和音認識 / 残響抑圧 / ノンパラメトリックベイズ / 音楽情報処理 / 音高推定 / 多重音解析 / 多重基本周波数推定 / 運指推定

研究成果の概要

本研究では，以下を達成した．(1)ノンパラメトリックベイズ法に基づく音楽音響信号の分析手法, (2) ベイズ推定に基づく和音の認識，(3)音楽音響信号からのバイオリン運指推定，(4)仮想楽器音源パラメータを推定，(5)ギター演奏者の習熟度に応じたタブ譜自動生成，(6)歌い方の特徴を抽出し歌手の歌い方のライブラリを作成，(7) 歌声と伴奏を分離し，歌声にビブラートやこぶしなどの歌唱表現を付与する音楽編集システムを開発，(8) 音響信号に対する残響抑圧，(9) 反復的な和音・音高推定方法の開発．

研究成果

• [雑誌論文] Automatic Speech Recognition for Mixed Dialect Utterances by Mixing Dialect Language Models (2015)
  • 著者名/発表者名: Naoki Hirayama, Koichiro Yoshino, Katsutoshi Itoyama, Shinsuke Mori, and Hiroshi G. Okuno
  • 雑誌名: EEE/ACM Transactions on Audio, Speech and Language Processing 巻: Vol. 23, Issue. 2 号: 2 ページ: 373-382
  • DOI: 10.1109/taslp.2014.2387414
  • 査読あり / オープンアクセス
• [雑誌論文] Posture Estimation of Hose-shaped Robot by using Active Microphoe Array (2015)
  • 著者名/発表者名: Yoshiaki Bando, Takuma Otsuka, Kazuhiro Nakadai, Satoshi Tadokoro, Masashi Konyo, Katsutoshi Itoyama, HIroshi G. Okuno
  • 雑誌名: Advanced Robotics 巻: 29 号: 1 ページ: 35-49
  • DOI: 10.1080/01691864.2014.981291
  • 査読あり
• [雑誌論文] Nonparametric Bayesian dereverberation ofpower spectrograms based on infinite-orderautoregressive processes and interpretation (2014)
  • 著者名/発表者名: Akira Maezawa, Katsutoshi Itoyama, Hiroshi G. Okuno
  • 雑誌名: IEEE/ACM Transactions on Audio, Speech and Language Processing 巻: 22 号: 12 ページ: 1918-1930
  • DOI: 10.1109/taslp.2014.2355772
  • 査読あり / オープンアクセス / 謝辞記載あり
• [雑誌論文] 擬似生成した複数方言言語モデル混合による混合方言音声認識 (2014)
  • 著者名/発表者名: 平山 直樹, 吉野 幸一郎, 糸山 克寿, 森 信介, 奥乃 博
  • 雑誌名: 情報処理学会論文誌 巻: 55 ページ: 1681-1694
  • NAID: 110009806671
  • 査読あり
• [雑誌論文] 音声中の任意検索語検出のための未知語区間推定に基づく選択的インデクス統合法 (2014)
  • 著者名/発表者名: 神田 直之，糸山 克寿，奥乃 博
  • 雑誌名: 情報処理学会論文誌 巻: 55 ページ: 1201-1211
  • 査読あり
• [雑誌論文] Multipitch Analyzer against Initialization based on Latent Harmonic Allocation using Overtone Corpus (2013)
  • 著者名/発表者名: Daichi Sakaue, Katsutoshi Itoyama, Tetsuya Ogata, Hiroshi G. Okuno
  • 雑誌名: Journal of Information Processing 巻: 21 ページ: 246-256
  • 査読あり
• [雑誌論文] Robust Multipitch Analyzer against Initialization based on Latent Harmonic Allocation using Overtone Corpus (2013)
  • 著者名/発表者名: Daichi Sakaue, Katsutoshi Itoyama, Tetsuya Ogata, Hiroshi G. Okuno
  • 雑誌名: 情報処理学会論文誌 巻: 54 ページ: 1-8
  • NAID: 120005439171
  • 査読あり
• [雑誌論文] Automated Violin Fingering Transcription Through Analysis of an Audio Recording (2012)
  • 著者名/発表者名: Akira Maezawa, Katsutoshi Itoyama, Kazunori Komatani, Tetsuya Ogata, Hiroshi G. Okuno
  • 雑誌名: Computer Music Journal 巻: Vol.3, No.3 号: 3 ページ: 57-72
  • DOI: 10.1162/comj_a_00129
  • NAID: 120005617614
  • 査読あり
• [学会発表] Singing Voice Analysis and Editing based on Mutually Dependent F0 Estimation and Source Separation (2015)
  • 著者名/発表者名: Yukara Ikemiya, Katsutoshi Itoyama, Kazuyoshi Yoshii
  • 学会等名: 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2015)
  • 発表場所: Brisbane, Australia
  • 年月日: 2015-04-19 – 2015-04-24
• [学会発表] A FEEDBACK FRAMEWORK FOR IMPROVED CHORD RECOGNITION BASED ON NMF-BASED APPROXIMATE NOTE TRANSCRIPTION (2015)
  • 著者名/発表者名: Satoshi Maruo, Kazuyoshi Yoshii, Katsutoshi Itoyama, Matthias Mauch, Masata Goto
  • 学会等名: 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2015)
  • 発表場所: Brisbane, Australia
  • 年月日: 2015-04-19 – 2015-04-24
• [学会発表] CHALLENGES IN DEPLOYING A MICROPHONE ARRAY TO LOCALIZE AND SEPARATE SOUND SOURCES IN REAL AUDITORY SCENES (2015)
  • 著者名/発表者名: Yoshiaki Bando, Takuma Otsuka, Katsutoshi Itoyama, Kazuyoshi Yoshii, Yoko Sasaki, Satoshi Kagami, Hiroshi G. Okuno
  • 学会等名: 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2015)
  • 発表場所: Brisbane, Australia
  • 年月日: 2015-04-19 – 2015-04-24
• [学会発表] Recognition of In-field Frog Chorusing using Bayesian Nonparametric Microphone Array Processing (2015)
  • 著者名/発表者名: Yoshiaki Bando, Takuma Otsuka, Ikkyu Aihara, Hiromitsu Awano, Katsutoshi Itoyama, Kazuyoshi Yoshii, Hiroshi G. Okuno
  • 学会等名: AAAI-2015 Workshop on Comutational Sustainability
  • 発表場所: Austin, Texas USA
  • 年月日: 2015-01-25 – 2015-01-30
• [学会発表] Development of a Robot Quizmaster with Auditory Functions for Speech-based Multiparty Interaction (2014)
  • 著者名/発表者名: Izaya Nishimuta, Kazuyoshi Yoshii, Katsutoshi Itoyama, Hiroshi G. Okuno
  • 学会等名: 2014 IEEE/SICE International Symposium on System Integration (SII 2014)
  • 発表場所: Chuo Univ, Tokyo, Japan
  • 年月日: 2014-12-12 – 2014-12-13
• [学会発表] A Robot Quizmaster that can Localize, Separate, and Recognize Simultaneous Utterances for a Fastest-Voice-First Quiz Game (2014)
  • 著者名/発表者名: Izaya Nishimuta, Naoki Hirayama, Kazuyoshi Yoshii, Katsutoshi Itoyama, Hiroshi G. Okuno
  • 学会等名: IEEE-RAS Interanational Conference on Humanoid Robots (Humanoids 2014)
  • 発表場所: Madrid, Spain
  • 年月日: 2014-11-18 – 2014-11-20
• [学会発表] BAYESIAN AUDIO ALIGNMENT BASED ON A UNIFIED GENERATIVE MODEL OF MUSIC COMOSITION AND PERFORMANCE (2014)
  • 著者名/発表者名: Akira Maezawa, Katsutoshi Itoyama, Kazuyoshi Yoshii, Hiroshi G. Okuno
  • 学会等名: 2014 International Society on Music Information Retrieval Conference (ISMIR 2014),
  • 発表場所: Taipei, Taiwan
  • 年月日: 2014-10-27 – 2014-10-31
• [学会発表] Sound Annotation Tool for Multidirectional Sounds based on spatial information extracted by HARK robot audition software (2014)
  • 著者名/発表者名: Osamu Sugiyama, Katsutoshi Itoyama, Kazuhiro Nakadai, Hiroshi G. Okuno
  • 学会等名: IEEE International Conference on Systems, Man, and Cybernetics (SMC 2014)
  • 発表場所: San Diego, USA
  • 年月日: 2014-10-05 – 2014-10-08
• [学会発表] A Sound-based Online Method for Estimating the Time-Varying Posture of a Hose-shaped Robot (2014)
  • 著者名/発表者名: Yoshiaki Bando, Katsutoshi Itoyama, Satoshi Tadokoro, Masashi Konyo, Kazuhiro Nakadai, Kazuyoshi Yoshii, Hiroshi G. Okuno
  • 学会等名: 12th International Symposium on Safety, Security, and Rescue Robotics (SSRR-2014)
  • 発表場所: Toya, Japan
  • 年月日: 2014-10-01 – 2014-10-06
• [学会発表] Parameter Estimation of Virtual Musical Instrumental Synthesizers (2014)
  • 著者名/発表者名: Katsutoshi Itoyama, Hiroshi G. Okuno
  • 学会等名: 2014 Joint Conference on 11th Sound and Music Computing Conference (ICMC) and 40th International Computer Music Conference (SMC) (ICMC|SMC 2014)
  • 発表場所: Athens, Greece
  • 年月日: 2014-09-14 – 2014-09-20
• [学会発表] Visualization of auditory awareness based on sound source positions estimated by depth sensor and microphone array (2014)
  • 著者名/発表者名: Takahiro Iyama, Osamu Sugiyama, Takuma Otsuka, Katsutoshi Itoyama, Hiroshi G. Okuno
  • 学会等名: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2014)
  • 発表場所: Chicago, USA
  • 年月日: 2014-09-14 – 2014-09-18
• [学会発表] Development of automatic bird-species recognition system from birdsongs in tropical forests (2014)
  • 著者名/発表者名: Akira Maruyama, Motoko S. Fujita, Katsutoshi Itoyama, Hiroshi G. Okuno, Mamoru Kanzaki
  • 学会等名: 26th International Ornithological Congress (IOC2014)
  • 発表場所: Tokyo, Japan
  • 年月日: 2014-08-18 – 2014-08-24
• [学会発表] Automatic Transcription of Guitar Tablature from Audio Signals in Accordance with Player's Proficiency (2014)
  • 著者名/発表者名: Kazuki Yazawa, Katsutoshi Itoyama, Hiroshi G. Okuno
  • 学会等名: 2014 International Conference on Acoustics, Speech and Signal Processing (ICASSP 2014)
  • 発表場所: Florence, Italy
  • 年月日: 2014-05-04 – 2014-05-09
• [学会発表] Transcribing Vocal Expression from Polyphonic Music (2014)
  • 著者名/発表者名: Yukara Ikemiya, Katsutoshi Itoyama, Hiroshi G. Okuno
  • 学会等名: 2014 International Conference on Acoustics, Speech and Signal Processing (ICASSP 2014)
  • 発表場所: Florence, Italy
  • 年月日: 2014-05-04 – 2014-05-09
• [学会発表] マイクロホンアレイの位置推定によるホース型ロボットの姿勢推定 (2014)
  • 著者名/発表者名: 坂東 宣昭, 大塚 琢馬, 中臺 一博, 中臺 一博, 田所 諭, 昆陽 雅司, 糸山 克寿, 奥乃 博
  • 学会等名: 情報処理学会第76回全国大会
  • 発表場所: 東京電機大学
• [学会発表] 混合方言言語モデルと混合比推定による方言音声認識システム (2014)
  • 著者名/発表者名: 平山 直樹, 吉野 浩一郎, 森 信介, 糸山 克寿, 奥乃 博
  • 学会等名: 情報処理学会第76回全国大会
  • 発表場所: 東京電機大学
• [学会発表] ギター演奏音からの難易度調整可能なタブ譜自動生成システム (2014)
  • 著者名/発表者名: 矢澤 一樹, 糸山 克寿, 奥乃 博
  • 学会等名: 情報処理学会第76回全国大会
  • 発表場所: 東京電機大学
• [学会発表] 伴奏付き歌唱からの歌唱表現のパラメータ化と転写 (2014)
  • 著者名/発表者名: 池宮 由楽, 糸山 克寿, 奥乃 博
  • 学会等名: 情報処理学会第76回全国大会
  • 発表場所: 東京電機大学
• [学会発表] 歌声-話声変換における動的音響特徴量が話声らしさに及ぼす影響 (2014)
  • 著者名/発表者名: 山崎 健史, 池宮 由楽, 糸山 克寿, 奥乃 博
  • 学会等名: 情報処理学会第76回全国大会
  • 発表場所: 東京電機大学
• [学会発表] 音響特徴量を用いた楽曲印象分布の推定 (2014)
  • 著者名/発表者名: 絵本 詩織, 糸山 克寿, 奥乃 博
  • 学会等名: 情報処理学会第76回全国大会
  • 発表場所: 東京電機大学
• [学会発表] 環境音に頑健な同時合図を識別するクイズ司会者の構築 (2014)
  • 著者名/発表者名: 西牟田 勇哉, 平山 直樹, 大塚 琢馬, 杉山 治, 糸山 克寿, 奥乃 博
  • 学会等名: 情報処理学会第76回全国大会
  • 発表場所: 東京電機大学
• [学会発表] 深度センサとマイクロホンアレイを用いた音源位置可視化による聴覚アウェアネスの提示 (2014)
  • 著者名/発表者名: 井山 貴裕, 杉山 治, 大塚 琢馬, 糸山 克寿, 奥乃 博
  • 学会等名: 情報処理学会第76回全国大会
  • 発表場所: 東京電機大学
• [学会発表] Posture Estimation of Horse-Shaped Robot using Microphone Array Localization (2013)
  • 著者名/発表者名: Yoshinori Bando, Takeshi Muzumoto, Katsutoshi Itoyama, Kazuhiro Nakadai, Hiroshi G. Okuno
  • 学会等名: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2013)
  • 発表場所: Tokyo, Japan
• [学会発表] Noise Correlation Matrix Estimation for Improving Sound Source Localization by Multirotor UAV (2013)
  • 著者名/発表者名: Koutarou Furukawa, Keita Okutani, Kohei Nagira, Takuma Otsuka, Katsutoshi Itoyama, Kazuhiro Nakadai, Hiroshi G. Okuno
  • 学会等名: EEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2013)
  • 発表場所: Tokyo, Japan
• [学会発表] Automatic Estimation of Dialect Mixing Ratio for Dialect Speech Recognition (2013)
  • 著者名/発表者名: Naoki Hirayama, Koichiro Yoshino, Katsutoshi Itoyama, Shunsuke Mori, Hiroshi G. Okuno
  • 学会等名: International Conference on Spoken Language Processing (Interspeech 2013)
  • 発表場所: Lyon, France
• [学会発表] AUDIO-BASED GUITAR TABLATURE TRANSCRIPTION USING MULTIPITCH ANALYSIS AND PLAYABILITY CONSTRAINTS (2013)
  • 著者名/発表者名: Kazuki Yazawa, Daichi Sakaue, Kohei Nagira, Katsutoshi Itoyama, Hiroshi G. Okuno
  • 学会等名: 2013 International Conference on Acoustics, Speech and Signal Processing (ICASSP 2013)
  • 発表場所: Vancouver, Canada
• [学会発表] INITIALIZATION-ROBUST BAYESIAN MULTIPITCH ANALYZER BASED ON PSYCHOACOUSTICAL AND MUSICAL CRITERIA (2013)
  • 著者名/発表者名: Daichi Sakaue, Takuma Otsuka, Katsutoshi Itoyama, Hiroshi G. Okuno
  • 学会等名: 2013 International Conference on Acoustics, Speech and Signal Processing (ICASSP 2013)
  • 発表場所: Vancouver, Canada
• [学会発表] MULTIPLE INDEX COMBINATION FOR JAPANESE SPOKEN TERM DETECTION WITH OPTIMUM INDEX SELECTION BASED ON OOV-REGION CLASSIFIER (2013)
  • 著者名/発表者名: Naoyuki Kanda, Katsutoshi Itoyama: Hiroshi G. Okuno
  • 学会等名: 2013 International Conference on Acoustics, Speech and Signal Processing (ICASSP 2013)
  • 発表場所: Vancouver, Canada
• [学会発表] ロボット聴覚ソフトウエアHARKを用いたクイズの同時回答を識別するロボット司会者 の設計と実装 (2013)
  • 著者名/発表者名: 西牟田 勇哉, 平山 直樹, 大塚 琢馬, 杉山 治, 糸山 克寿, 奥乃 博
  • 学会等名: 人工知能学会第37回AIチャレンジ研究会
  • 発表場所: 早稲田大学
• [学会発表] ホースの伸び縮みによるマイク位置の変化を許容するマイクロホンアレイを用いたホース型ロボットの姿勢推定 (2013)
  • 著者名/発表者名: 坂東 宣昭, 大塚 琢馬, 糸山 克寿, 中村 圭佑, 昆陽 雅司, 田所 諭, 中臺 一博, 奥乃 博
  • 学会等名: 人工知能学会第37回AIチャレンジ研究会
  • 発表場所: 早稲田大学
• [学会発表] ホース型ロボットのマイクロホンアレイを用いた姿勢推定 (2013)
  • 著者名/発表者名: 坂東 宣昭, 大塚 琢馬, 水本 武志, 糸山 克寿, 中臺 一博, 奥乃 博
  • 学会等名: 日本ロボット学会第31回学術講演会
  • 発表場所: 早稲田大学
• [学会発表] Multirotor UAV を用いた音源定位のための雑音相関行列推定 (2013)
  • 著者名/発表者名: 古川 孝太郎, 大塚 琢馬, 糸山 克寿, 中臺 一博, 奥乃 博
  • 学会等名: 日本ロボット学会第31回学術講演会
  • 発表場所: 首都大学東京
• [学会発表] HARKを用いたロボットクイズ司会者HATTACK25の開発 (2013)
  • 著者名/発表者名: 西牟田 勇哉, 平山 直樹, 大塚 琢馬, 杉山 治, 糸山 克寿, 奥乃 博
  • 学会等名: 日本ロボット学会第31回学術講演会
  • 発表場所: 首都大学東京
• [学会発表] 楽器音に対する仮想音源のパラメータ推定 (2013)
  • 著者名/発表者名: 糸山 克寿, 奥乃 博
  • 学会等名: 情報処理学会第100回音楽情報処理研究会
  • 発表場所: 東京大学
• [学会発表] ギター演奏者の習熟度に合わせた音響信号からのタブ譜自動生成 (2013)
  • 著者名/発表者名: 矢澤 一樹, 糸山 克寿, 奥乃 博
  • 学会等名: 情報処理学会第100回音楽情報処理研究会
  • 発表場所: 東京大学
• [学会発表] 伴奏付き歌唱に含まれる歌い方要素の個別抽出 (2013)
  • 著者名/発表者名: 池宮 由楽, 糸山 克寿, 奥乃 博
  • 学会等名: 情報処理学会第100回音楽情報処理研究会
  • 発表場所: 東京大学
• [学会発表] Automatic Chord Sequence Recognition Based on Probabilistic Integration of Acoustic Features and Chord Transition (2012)
  • 著者名/発表者名: Katsutoshi Itoyama, Tetsuya Ogata, Hiroshi G. Okuno
  • 学会等名: The 25th International Conference on Industrial, Engineering & Other Applications of Applied Intelligent Systems
  • 発表場所: Delian, China
• [学会発表] Bayesian Nonnegative Harmonic-Temporal Factorization and Its Application to Multipitch Analysis (2012)
  • 著者名/発表者名: Daichi Sakaue, Katsutoshi Itoyama, Tetsuya Ogata, Hiroshi G. Okuno
  • 学会等名: 13th International Society for Musical Information Retrieval Conference
  • 発表場所: Porto, Portugal
• [図書] Modern Advances in Applied Intelligence - the 27th International Conference on Industrial, Engineering and Other Applications of Applied Intelligence Systems, IEA/AIE-2014, Proceedings, Part II, Lecture Notes in Computer Science (2014)
  • 著者名/発表者名: Yukara Ikemiya, Katsutoshi Itoyama, Hiroshi G. Okuno
  • 総ページ数: 10
  • 出版者: Springer
• [備考] 京都大学 大学院情報学研究科 知能情報学専攻 音声メディア分野
  • URL: http://winnie.kuis.kyoto-u.ac.jp/
• [備考] MIREX 2014 Singing Voice Separation Results
  • URL: http://www.music-ir.org/mirex/wiki/2014:Singing_Voice_Separation_Results
• [備考] http://winnie.kuis.kyoto-u.ac.jp/