| 研究課題/領域番号 |
24220006
|
|---|
| 研究機関 | 京都大学 |
|---|
研究代表者 |
奥乃 博 京都大学, 情報学研究科, 教授 (60318201)
|
|---|
| 研究分担者 |
中臺 一博 東京工業大学, 情報理工学(系)研究科, 教授 (70436715)
公文 誠 熊本大学, 自然科学研究科, 准教授 (70332864)
糸山 克寿 京都大学, 情報学研究科, 助教 (60614451)
加賀美 聡 独立行政法人産業技術総合研究所, その他部局等, その他 (30344196)
田所 諭 東北大学, 情報科学研究科, 教授 (40171730)
吉井 和佳 京都大学, 情報学研究科, 講師 (20510001)
|
|---|
| 研究期間 (年度) |
2012-05-31 – 2017-03-31
|
| キーワード | ロボット聴覚 / 音環境理解 / AV-SLAM / 無人ヘリコプタ用音源定位 / 聖徳太子ロボット / ホース型レスキューロボット / 極限音環境理解 / 屋外音環境理解 |
|---|
| 研究概要 |
本年度は，初年度導入システムを洗練化し，『多様な音の聞き分ける』要素技術の実地試験によるデータ収集と評価に取組んだ．
WP1: 【ロボット聴覚ソフトウエアHARK2.0の開発】 ①OS非依存Webベースの開発環境を導入，10月仏CNRS-LAASで，12月早稲田大学で無料講習会実施．WP2: 【屋内から屋外への展開】②多層型レーザースキャナを用いた多層型2次元・3次元地図のロバストな作成法を開発．数百メートル角の屋内外でデータ収集し，有効性を確認．③分離音をに対するネスト型無限混合ガウスモデルを用いた音源同定法を開発．④UAV音源検出でiGEVDを拡張したiGSVD-MUSIC法（一般化特異値分解）を開発し，雑音ロバストで実時間処理可能に．雑音過抑圧を防止するCMS（Correlation Matrix Scaling）法を開発し，音源定位の精度向上．動作情報が不要な自己雑音抑制技術や分散同期マイクアレイにおける伝達関数推定法等も開発．⑤UAV搭載マイクアレイ，各種センサを制御系と統合し，ロバストな姿勢制御を通じた音と位置姿勢情報の収集が可能となる．WP3: 【音一般への展開】⑥ノンパラメトリックベイズ（NP-Bayes）による楽器音抽出法，歌声変換法の開発．⑦NP-Bayesによる音源数未知の音源定位・分離法の開発．⑧「カエルホタル」の2年分のデータを分析し，論文発表．豪州でメスも使った実験を開始．⑨感情の認識・生成を統一的に扱うSIREモデルの完成度を高め，Multimedia 感情知性の基礎を確立．WP4: 【極限環境への展開】⑩ホース型ロボットの音による姿勢推定技術を開発し，プロトタイプを完成．⑪音環境可視化システムを開発．
IROS，RSJ,，JSAI等で発表会を企画・運営．京大アカデミックディで一般市民対象に発表，中学生の社会見学に対応．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
WP1: 【ロボット聴覚ソフトウエアHARKの展開】 ①OS非依存のHARK2.0を開発し，日仏で無料講習会を実施し，ユーザ層の拡大を図る．講習会受講後，鈴木氏（名大）が野鳥の鳴き声観測システム RoboBird を開発し，豊田市自然公園での観測に試用．ロボット聴覚技術で，文部科学大臣表彰，人工知能学会フェローを受賞．②耳介の効果を活用した両耳聴の研究に対してIEA/AIE-2013 最優秀論文賞受賞．
WP2: 【室内から屋外への展開】③多層型レーザーセンサとマイクアレイを用いて，大規模会場での評価と述10日間にわたる視聴覚データを収集し，今後の研究展開のデータを構築．シンポジア優秀論文賞受賞．④クアドロコプタ（Qcoptor）搭載MicArrayを用いた音源定位と音声検出の洗練化を行い，論文化．さらに音源探索に展開．④屋外用Qcoptor搭載の位置・姿勢情報と音情報を制御系と同期され，安定した姿勢での音収録技術を確立．ただし，音源定位性能は出ていない．
WP3: 【音声から音一般への展開】⑤NP-Bayesによる音楽情報処理，音源定位，音源分類法を開発．音源未知での音源定位法は信号処理のトップジャーナル掲載．③の観測データの一部を使用し，NP-Bayes法の評価を行う．⑦音光変換装置「カエルホタル」での2年間にわたる観測データの解析結果をNatureグループの雑誌に掲載，大きく報道．
WP4: 【実環境・極限環境への展開】⑧ホース型ロボットのモックアップ上での音を使った姿勢推定技術を開発し，従来法では対処できなかった突然の姿勢変化にも精度よく音源定位を達成．
さらに，国内外の学会集会で発表会と講習会を通じて成果の普及に努め，京大アカデミックディや報道発表で，国民に研究情報の発信を行った．また，上述のも含め21件の受賞があり，5件の招待講演を行った．
|
| 今後の研究の推進方策 |
3年目は『システムの総合化・評価』に着手する．特に，昨年度WP2で，自律走行するロボットで大規模展示会場など周りに多数の人がいる環境で10日間収録した屋内外の音データをベンチマークとして用い，ロボット聴覚技術の評価と洗練化に取り組む．各WPの予定を次に示す．
WP1【ロボット聴覚の展開】 ①HARK：システム統合化に向けた様々なロボットで評価．ロボットクイズ司会者HATTACK25の洗練化と評価，②HARK-Distributed: 移動音源・移動ロボットでのマイク群同期校正のの自動化，③普及活動：ロボット聴覚の教科書執筆と，一般向け講習会と上級者向け「ハッカソン」の実施．
WP2【室内から屋外への展開】④UAVによる空中からの音源定位の性能向上と，地上のロボット群からの音源定位の統合化を検討，⑤多層型レーザースキャナとマイクアレイを統合した高品質音環境マップ作成と，音環境マップを用いた音探索技術の開発．
WP3【音一般への展開】⑥NP-Bayesマルチチャネル音響信号処理技術に基づくロボット聴覚の実環境での有効性を検証，NP-Bayesによる多重奏音響信号のパート分離技術の開発．⑦カエルホタルによるマクロ視観測とHARKによるミクロ視観測を統合したハイブリッド観測法の開発．
WP4【実環境・極限環境への展開】⑧ホース型ロボットの試作機で自走時の姿勢推定，音源定位，音源分離の評価と改良を行い，さらに，オペレータ用可視化システムを開発．⑨全方位３D画像上に音源定位，分離音，擬音語表現を songol.jp風の階層的表示機能を開発．
WP横断【システムの統合化】⑩WP2の音データを用いて，WP1，WP3で開発した音源定位，音源分離，分離音認識を行い，その結果をWP4で開発した技術で音環境の可視化を行う．
|
