2014 Fiscal Year Annual Research Report
| Project/Area Number |
24220006
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
奥乃 博 早稲田大学, 理工学術院, 教授(任期付) (60318201)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
吉井 和佳 京都大学, 情報学研究科, 講師 (20510001)
糸山 克寿 京都大学, 情報学研究科, 助教 (60614451)
中臺 一博 東京工業大学, 情報理工学(系)研究科, 連携教授 (70436715)
公文 誠 熊本大学, 自然科学研究科, 准教授 (70332864)
加賀美 聡 独立行政法人産業技術総合研究所, デジタルヒューマン研究センター, 副センター長 (30344196) [Withdrawn]
佐々木 洋子 独立行政法人産業技術総合研究所, デジタルヒューマン研究センター, 研究員 (00574013)
田所 諭 東北大学, 情報科学研究科, 教授 (40171730) [Withdrawn]
昆陽 雅司 東北大学, 情報科学研究科, 准教授 (20400301)
|
|---|
| Project Period (FY) |
2012-05-31 – 2017-03-31
|
| Keywords | ロボット聴覚 / 音環境理解 / AV-SLAM / 聖徳太子ロボット / UAV用音源定位 / ホース型レスキューロボット / 極限音環境理解 / 屋外音環境理解 |
|---|
| Outline of Annual Research Achievements |
昨年度の要素技術の開発を受け，本年度は『システムの統合化・評価』に取り組んだ．
WP1:【ロボット聴覚ソフトウエアHARK2.1.1の開発】①音源定位で2種，音源分離で11種のアルゴリズム，エゴノイズ抑制機能を提供．11月早稲田大学で無料講習会，12月同大でハッカソン実施．②両耳聴モジュールの開発，伝達関数補完法による3D音源定位法を開発．③対話型HARKパラメータチューニング支援システムの開発．④HARKの応用としてロボットクイズ司会者開発．WP2:【屋内から屋外への展開】⑤展示用自律移動ロボットを開発し，2回のイベントで大規模な実環境データを収集．ネスト型無限混合ガウスモデルによる分類・識別機能の有効性を確認．⑥3次元地図作製技術の開発と複数移動体追跡ソフトウエア公開．WP3:【音一般への展開】⑦ベイジアンノンパラメトリック・マイクロフォンアレイ処理（BNP-MAP）により，音源数無限の環境（イベント会場収録音，カエルの合唱，鳥の鳴き交わし）において，音源定位・音源分離の同時推定が可能になる．イベント会場での人追跡可視化に音響事象を重畳し，人の移動と話者の状態を同時に表示．⑧UAVからの耐雑音性の高い音源定位法 iGSVD-MUSIC-CMS法を開発し，12m～14mの距離からの音声の音源検出を実証．⑨反応帯域を分割したカエルホタル2の開発と，2種類のカエルの合唱の実フィールドでの観測に成功．⑩DNNによるAV-ASRしいステムの開発．DNNの有効性確認．⑪感情の認識生成の双方向をモデル化し，検証．WP4:【極限環境への展開】⑪索状ロボットによる3D音源定位法とRPCAによる音声強調法を開発．⑫屋外用音収録UAVの開発．UAV用音環境可視化システムの開発．⑬関数型言語による3Dプリンタ用モデル化の開発．
RSJ, JSAI等で研究集会を企画・運営．産総研で公開デモを実施．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
【計画より進捗した点】
①ロボット聴覚オープンソースソフトウエアＨＡＲＫが音源定位で2種，音源分離で11種のアルゴリズムを提供し，研究用ツールとして充実したこと．今期だけで，国内外から３万件弱ダウンロードがあった．人工知能学会業績賞受賞．②伝達関数を補完するトリリニア補間法の開発により，３D音源定位法で事前測定を大幅に削減．論文賞受賞．③第三者ユーザ開発の応用がフィールドテストに： HARKBird（名大），音源定位（HAL東京ロボット学科）④ベイジアンノンパラメトリック・マイクロフォンアレイ処理（BNP-MAP）の音源定位・音源分離の同時推定が実環境でも機能することが判明．HARK提供のオンラインアルゴリズム群では対応しきれない状況で使用可能なBNP-MAPという事前知識最小限の音源定位・音源分離が可能となる．実際，人混み，カエル・野鳥データの解析に成功，⑤UAVからの耐雑音性の高い音源定位法 iGSVD-MUSIC-CMS法を開発し，ロータ，風切り音等の雑音を逐次的に抑圧するとともに，CMS法により雑音過抑圧で， 12m～14m程度の距離から話される音声の音源検出が実証 ⑥ 教室型と競り型の2種に大別し，イズ司会者ロボットを開発し，HARKの有用さを実証 ⑦感情の認識・生成の双方向で使用できるモデルとしてSIREを考案し，その上にMultimodal Emotional Intelligence（MEI）を実現し，実証． ⑧トップレベルのジャーナル論文，国際会議論文，章分担，解説論文，特許と多数の成果が出ていること．⑨極限環境でのロボット聴覚がImPACT「タフ・ロボティクス・チャレンジ」の極限音響として採用されたこと.
⑩「ロボット聴覚」が国内外で認知が進み始めたこと．IROS-2014より“robot audition”がキーワードとして採用．
|
| Strategy for Future Research Activity |
4年目は『WPの成果を統合したシステム評価と個別要素技術の再構築』に取り組む．2名の分担者を加え，自然環境への展開を強化する．各WPの予定を次に示す．
WP1【ロボット聴覚ソフトウエアHARKの開発】①RASP-ZX用高速無線伝送方式を開発，②HARK-Binauralの組込みシステム化，③HARKのクラウド化，④HARKの普及活動：市販マイクアレイへの対応と，一般向け講習会・ハッカソンの実施．WP2【屋内から屋外への展開】⑤AV情報統合による音マップ構築法・AV-SLAM法の洗練化と熊本大学への技術移転，⑥音源位置情報を基にした音源への追従飛行，⑦UAV収録音からの多クラス音源識別法の開発，⑧多様なUAV（ホバリング型・カイト型）による音源探索法の検討．WP3【音一般への展開】⑨ベイジアンノンパラメトリック法による実録データからの動物の鳴き声認識法の開発，DNNによる音響イベント認識と音環境可視化，⑩BNP-MAPの実データによる評価と高性能化・高速化．WP4【実環境・極限環境への展開】⑪ホース型ロボットの移動中での姿勢推定・音源定位・分離・音声強調機能の高性能化，⑫UAVやホース型ロボットから得られるAV情報のオペレータ提示法の開発，⑬HARKFrog，HARKBirdの実環境での評価と洗練化，⑭RCグライダ（静音・高速移動）用の音収録装置の開発，⑮地上ロボット群とUAVとの連携による音マップ構築法と音探索システムの検討．
WP横断【システムの総合化】⑯WP2でロボットが大規模展示会場等で自律走行して集めた中長期間データを用いて，WP1で開発した要素技術の評価を行い，その結果をWP4で開発した技術で音環境可視化を行う．また，音マップ構築法を屋外自走ロボットに適用し，UAVとの連携に応用．
また，RSJ, JSAI等で研究集会を企画・運営．公開デモ等アウトリーチ活動を実施．
|
| Remarks |
東北大学大学院情報科学研究科田所・昆陽研究室 http://www.rm.is.tohoku.ac.jp
主たる受賞(1)奥乃:人工知能学会業績賞 (2)中村他:Advanced Robotics論文賞 (3)坂東:SSRR-2014 Best Student Paper Award (4)合原他:人工知能学会研究会優秀賞，(5)小島他:SI2014優秀講演賞 (6)大会学生奨励賞6件，他2件受賞．
|
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Journal Article] Lipreading using Convolutional Neural Network2014
Author(s)
Kuniaki Noda, Yuki Yamaguchi, Kazuhiro Nakadai, Hiroshi G. Okuno, Tetsuya Ogata
-
Journal Title
Proceedings of 2014 International Conference on Spoken Language Processing (Interspeech 2014)
Volume: 1
Pages: 1149-1153
Peer Reviewed / Open Access / Acknowledgement Compliant
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
