2015 Fiscal Year Annual Research Report
| Project/Area Number |
24220006
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
奥乃 博 早稲田大学, 理工学術院, 教授 (60318201)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中臺 一博 東京工業大学, 情報理工学(系)研究科, 連携教授 (70436715)
公文 誠 熊本大学, 自然科学研究科, 准教授 (70332864)
糸山 克寿 京都大学, 情報学研究科, 助教 (60614451)
吉井 和佳 京都大学, 情報学研究科, 講師 (20510001)
佐々木 洋子 国立研究開発法人産業技術総合研究所, その他部局等, 主任研究員 (00574013)
昆陽 雅司 東北大学, 情報科学研究科, 准教授 (20400301)
合原 一究 同志社大学, 生命医科学研究科, 日本学術振興会特別研究員PD (70588516)
鈴木 麗璽 名古屋大学, 情報科学研究科, 准教授 (20362296)
|
|---|
| Project Period (FY) |
2012-05-31 – 2017-03-31
|
| Keywords | ロボット聴覚 / 音環境理解 / AV-SLAM / 聖徳太子ロボット / UAV用音源定位 / ホース型レスキューロボット / 極限音環境理解 / 屋外音環境理解 |
|---|
| Outline of Annual Research Achievements |
4年目は『WPの成果を統合したシステム評価と個別要素技術の再構築』に取り組んだ．各WPの実績を次に示す．
WP1:【ロボット聴覚ソフトウエアHARKの開発】①圧縮・無線伝送方式の改良により屋外データ転送の安定化．②組込みシステム化したHARK-Binaural+の効果とRaspberry Pi2稼働確認．③クラウド化HARK-SaaSの開発と試用開始．④12月HARK無料講習会，ハッカソン実施． WP2:【屋内から屋外への展開】⑤LiDAR・マイクアレイの手持ち化と，SLAMと音源方向を統合した音源地図構築法の開発．⑥イベント会場収録音の音源数無制限BNP-MAP法による音源定位・分離のマイク数の変化による性能変化の評価．⑦UAV収録音のCNNによる多クラス識別を開発．WP3:【音一般への展開】⑧料理支援ロボットのための音特徴抽出法の開発．⑨カエルホタル点滅パターンを統合したNMFによるカエル合唱構造の分析．⑩UAV収音のDNNによる音響イベント認識の開発．⑪能動耳介の鉛直方向・水平方向定位特性を解明． WP4:【極限環境・自然環境への展開】⑫UAVからの音源定位の熊本新港での予備実験．⑬カイト式UAV収音システムの開発と滑空時音源方向推定の予備実験． ⑭グライダ用64チャネル収音装置の構築．⑮HARKFrogによる西表島・隠岐島での観測．別種カエルの合唱下でのアマガエルの同相同期を発見．⑯カエルの鳴き声に誘引される吸血蚊のカエルホタルを利用したパナマ調査．⑰名古屋大学稲武フィールド，UCLA等での観測を通じたHARKBirdの洗練化と，定位情報に基づく音アノテーションツール構築．⑱索状ロボットの音による３D姿勢推定と，ベイズモデルによる音声強調法の開発．
また，RSJ, JSAI等で研究集会．産総研で公開デモ実施
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
【計画より進捗した点】
①無線伝送方式で圧縮とプロトコルを改良し，飛行時に距離が延びても安定通信が可能になり，熊本新港でUAVによる音源同定の予備実験を行い，その有効性を確認し，国際会議で発表．②ロボット聴覚オープンソフトウエアHARKのクラウド化・組込用システム化による充実．音響信号処理，ロボットのトップ会議ICASSP，IROS等での他機関著名研究者の発表論文で，HARK使用が言及されており，ロボット聴覚基本ソフトウエアとして定着．③名古屋大学稲武演習林，米国カリフォルニア州での野鳥の鳴き声の収音実験を通じて，HARKBirdの音源定位・音源分離の性能向上を確認するとともに，野鳥の鳴き声のアノテーションツールや，インタラクティブなHARKパラメータチューニングツールの開発が進み，周辺技術が充実．環境調査会社から河川でのオオヨシキリの調査の提案を受け，開発した長期間観測用マイクロフォンアレイ（MicArray）を複数台使用し，実地調査に使用することになった．④LiDARとMicArrayを装着した手持ち装置を作成し，SLAMと音源定位情報からポイントクラウドと音源情報を統合した音環境マップの構築が可能になる．最優秀論文賞受賞．また，その技術を熊本大学に移転．⑤索状ロボットによるベイズ処理の音声強調手法を開発し，SSRRでデモを行い，Best Innovative Paper Award，People's Choice Demo Awardを受賞．⑥カエルホタルを使用したパナマでのカエルの吸血蚊の挙動観測し，論文掲載．カエルホタルの点滅パターンを利用したNMFによるカエルの合唱分析法を開発し，性能向上．音学シンポでポスター賞受賞．
|
| Strategy for Future Research Activity |
最終年度は『システム総合化による評価と最終成果物の取りまとめ』を進める．12月にシンポジウムを開催し，成果を報告．同時に，HARK講習会とハッカソンを開催し，成果の普及に努める．IROS-2016ロボット聴覚応用Special Sessionの開催，JRMロボット聴覚技術特集号の企画を通じ，成果のジャーナル論文化とロボット聴覚研究の国際展開を図る．各WPの予定を次に示す．
WP1: ロボット聴覚ソフトウエアHARKの多様なコンフィグレーションへの展開 ①新型マイクロフォンアレイ（MA）「タマゴ」および長時間録音型MAへの対応，②マルチMAによる音源定位・分離・分離音認識法の開発，③HARKの普及活動．
WP2: ロボット聴覚の室内から屋外への展開 ④UAV収録音から音源定位・分離・同定を統一的に扱う単一NN手法の構築，⑤データ不足でも大規模データ学習が可能なNN手法の開発，⑥通常UAV（ホバリング型），カイト型UAV（静音・低速移動），RCグライダ（静音・高速移動）による音源探索法の比較評価． WP3: ロボット聴覚の音声から音一般への展開 ⑦実環境収録データの統計的音源分離技術の高精度化とオンライン処理化．
WP4: 実環境・極限環境への展開 ⑧ホース型ロボットによる姿勢推定・音源定位・音声強調の高性能化，⑨複数ロボットによるSLAM技術の開発，⑩HARKBirdによる野鳥の歌行動観測を国内外で実施し，性能評価と改良，歌行動の相互作用過程の分析，⑪カエルホタルとHARKFrogによるカエルの合唱の観測（隠岐・西表島）と合唱構造解析．
WP横断：システムの総合化 ⑫自律走行ロボットによる大規模展示会場等での長期間データ収集と3次元音環境地図作成実験を通した洗練化，⑬屋外自走ロボットとUAVの連携による音探索実証実験を熊本新港で実施．なお，熊本大学グループの熊本大震災の被災状況で見直す．
|
| Remarks |
【受賞】 SSRR-2015 Best Innovative 論文賞, ベストデモ賞, ロボットシンポ最優秀論文賞，SI2014優秀講演賞，IPSJ学生奨励賞4件, ASJ学生優秀発表賞，ポスター賞
|
-
-
-
-
-
-
-
-
-
-
[Journal Article] Beat Tracking for Interactive Dancing Robots2015
Author(s)
Joao Lobato Oliveira, Gokhan Ince, Keisuke Nakamura, Kazuhiro Nakadai, Hiroshi G. Okuno, Fabien Gouyon, Luis Paulo Reis
-
Journal Title
International Journal of Humanoid Robotics
Volume: 12
Pages: 1-24
DOI
Peer Reviewed / Int'l Joint Research / Acknowledgement Compliant
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] An overview of robot audition2015
Author(s)
Hiroshi G. Okuno and Kazuhiro Nakadai
Organizer
Guest talk of Research Laboratory Multimedia Communications and Signal Processing (LMS)
Place of Presentation
Friedrich-Alexander-Universitat Erlangen-Nurnberg (FAU), Erlangen, Germany
Year and Date
2015-10-06 – 2015-10-06
Invited
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Remarks] 合原研究室
