• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2023 年度 実施状況報告書

超音波と深層学習に基づく屋内深度推定

研究課題

研究課題/領域番号 23K11154
研究機関東京理科大学

研究代表者

入江 豪  東京理科大学, 工学部情報工学科, 准教授 (20914831)

研究期間 (年度) 2023-04-01 – 2026-03-31
キーワード深度推定 / 深層学習 / 超音波
研究実績の概要

超音波ベース深度推定は前例がなく、研究に利用可能な公開データベースも存在しない。これを受け今年度、独自のデータベース構築のため、ハイレゾスピーカー、超音波マイク、光学深度センサを可搬型台車に搭載した計測装置を設計・開発した。また、当該装置を用いて、およそ20m^2の屋内空間内の約1,000地点を対象に、RGB画像、深度マップ、可聴/超音波反響音を同期収取してデータベースを構築した。当分野においては実質的には初となる超音波反響ベース深度推定用のデータセットの公開に向けた下準備が整ったといえる。
超音波ベース深度推定に有効な深層学習モデルの検討に向けた予備調査として、既存の可聴反響音に基づく深度推定法を用いて、音源の周波数帯域を徐々に高周波帯に限定していったときの深度推定精度の変化を音響シミュレーションによって解析した。結果、可聴帯の範囲で帯域を限定した場合、19.5kHzまでの範囲では推定精度の改善が見られたものの、20kHz以上の超音波帯のみに帯域を限定すると精度が低下し始めることを確認した。これは帯域の限定による情報の不足、あるいは、超音波の不安定性によるものであることが考えられる。この知見に基づいて、学習時にのみ可聴帯のスペクトル情報を補助データとして利用して情報の欠損を補償するマルチタスク学習型の深層学習法を新たに考案した。この方法によって、超音波帯に限定した場合であっても、可聴域を含む音源を用いた場合と同程度以上の深度推定精度を達成できることを実証すると共に、推定誤差を1m以内に収めることができることを確認した。
このほか、反響音に基づくシーン理解に向けた要素技術としてスパース正則化に基づく帯域選択や幾何的予測に特化したデータ拡張法の考案を含む要素技術検討も行い、周辺タスクにおいて有効な結果を得た。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

R5年度は、大枠として研究用データベースの構築、超音波ベース深度推定のための深層学習モデルの構成、音響シミュレーションによる条件統制評価を行うことを計画していたが、いずれも計画通り完遂した。超音波ベース深度推定のための深層学習モデルの構成に関しては、当初は実効パワーを持つ周波数帯に着目した入力整形法や超音波帯の微細な変化を捉えるのに適したサブピクセル畳み込みなどの組み込みによる技術検討を計画していた。しかしながら、音響シミュレーションによる入力周波数帯に関する条件を変化させた際の解析を行った結果から、可聴域の欠損を原因とする精度低下が示唆されたため、これを補償するマルチタスク学習型の深層学習法を考案した。結果として可聴域を含む音源を用いた場合と同程度以上の深度推定精度を達成でき、期待通りの進捗が得られている。

今後の研究の推進方策

音響シミュレーションを用いた検討により、音源を超音波帯のみに帯域を限定すると深度推定精度が低下すること、並びに、可聴域のスペクトルを含む補助データを学習に用いることで精度改善が可能であることを確認できた。次年度は今年度構築したデータベースを用いた実データによる実験を行い、音響シミュレーション同様の現象・効果が得られるかを明らかにするとともに、当初の計画通り、画像復元に用いられる自己符号化器の周波数情報復元への援用、並びに、学習の進行と共に徐々に減衰・欠損する周波数情報の範囲を意図的に増加させるデータ拡張/カリキュラム学習法の導入を検討することによって、測距誤差率10%以内の達成を目指していく。

  • 研究成果

    (7件)

すべて 2024 2023

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (5件) (うち国際学会 2件、 招待講演 1件) 産業財産権 (1件)

  • [雑誌論文] 圧電収音に基づく接触点位置推定のためのBivariate Mixup2024

    • 著者名/発表者名
      米澤 祥吾、谷口 行信、入江 豪
    • 雑誌名

      電子情報通信学会論文誌D 情報・システム

      巻: J107-D ページ: 155~165

    • DOI

      10.14923/transinfj.2023PDP0016

    • 査読あり / オープンアクセス
  • [学会発表] Active Acoustic Sensing for Object Recognition2024

    • 著者名/発表者名
      Seiya Kodama, Shogo Yonezawa, Go Irie
    • 学会等名
      International Workshop on Frontiers of Computer Vision
    • 国際学会
  • [学会発表] Seeing through Sounds: Visual Scene Understanding from Acoustic Signals2023

    • 著者名/発表者名
      Go Irie
    • 学会等名
      International Workshop on Symbolic-Neural Learning
    • 国際学会 / 招待講演
  • [学会発表] 超音波反響による屋内デプス推定2023

    • 著者名/発表者名
      本間 純平,木村 昭悟,入江 豪
    • 学会等名
      画像センシングシンポジウム
  • [学会発表] 圧電収音に基づく接触点位置推定のためのBivariate Mixup2023

    • 著者名/発表者名
      米澤 祥吾,谷口 行信,入江 豪
    • 学会等名
      画像センシングシンポジウム
  • [学会発表] アクティブ音響センシングによるアピアランスによらない物体識別2023

    • 著者名/発表者名
      小玉 星弥,米澤 祥吾,入江 豪
    • 学会等名
      画像センシングシンポジウム
  • [産業財産権] 学習装置、深度推定装置、深度推定モデルの生成方法、深度推定方法、及びプログラム2023

    • 発明者名
      木村 昭悟、入江 豪、本間 純平
    • 権利者名
      日本電信電話株式会社、学校法人東京理科大学
    • 産業財産権種類
      特許
    • 産業財産権番号
      特願2023-89663

URL: 

公開日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi