2023 Fiscal Year Research-status Report
Indoor depth estimation based on ultrasound and deep learning
| Project/Area Number |
23K11154
|
|---|
| Research Institution | Tokyo University of Science |
|---|
Principal Investigator |
入江 豪 東京理科大学, 工学部情報工学科, 准教授 (20914831)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | 深度推定 / 深層学習 / 超音波 |
|---|
| Outline of Annual Research Achievements |
超音波ベース深度推定は前例がなく、研究に利用可能な公開データベースも存在しない。これを受け今年度、独自のデータベース構築のため、ハイレゾスピーカー、超音波マイク、光学深度センサを可搬型台車に搭載した計測装置を設計・開発した。また、当該装置を用いて、およそ20m^2の屋内空間内の約1,000地点を対象に、RGB画像、深度マップ、可聴／超音波反響音を同期収取してデータベースを構築した。当分野においては実質的には初となる超音波反響ベース深度推定用のデータセットの公開に向けた下準備が整ったといえる。
超音波ベース深度推定に有効な深層学習モデルの検討に向けた予備調査として、既存の可聴反響音に基づく深度推定法を用いて、音源の周波数帯域を徐々に高周波帯に限定していったときの深度推定精度の変化を音響シミュレーションによって解析した。結果、可聴帯の範囲で帯域を限定した場合、19.5kHzまでの範囲では推定精度の改善が見られたものの、20kHz以上の超音波帯のみに帯域を限定すると精度が低下し始めることを確認した。これは帯域の限定による情報の不足、あるいは、超音波の不安定性によるものであることが考えられる。この知見に基づいて、学習時にのみ可聴帯のスペクトル情報を補助データとして利用して情報の欠損を補償するマルチタスク学習型の深層学習法を新たに考案した。この方法によって、超音波帯に限定した場合であっても、可聴域を含む音源を用いた場合と同程度以上の深度推定精度を達成できることを実証すると共に、推定誤差を1m以内に収めることができることを確認した。
このほか、反響音に基づくシーン理解に向けた要素技術としてスパース正則化に基づく帯域選択や幾何的予測に特化したデータ拡張法の考案を含む要素技術検討も行い、周辺タスクにおいて有効な結果を得た。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
R5年度は、大枠として研究用データベースの構築、超音波ベース深度推定のための深層学習モデルの構成、音響シミュレーションによる条件統制評価を行うことを計画していたが、いずれも計画通り完遂した。超音波ベース深度推定のための深層学習モデルの構成に関しては、当初は実効パワーを持つ周波数帯に着目した入力整形法や超音波帯の微細な変化を捉えるのに適したサブピクセル畳み込みなどの組み込みによる技術検討を計画していた。しかしながら、音響シミュレーションによる入力周波数帯に関する条件を変化させた際の解析を行った結果から、可聴域の欠損を原因とする精度低下が示唆されたため、これを補償するマルチタスク学習型の深層学習法を考案した。結果として可聴域を含む音源を用いた場合と同程度以上の深度推定精度を達成でき、期待通りの進捗が得られている。
|
| Strategy for Future Research Activity |
音響シミュレーションを用いた検討により、音源を超音波帯のみに帯域を限定すると深度推定精度が低下すること、並びに、可聴域のスペクトルを含む補助データを学習に用いることで精度改善が可能であることを確認できた。次年度は今年度構築したデータベースを用いた実データによる実験を行い、音響シミュレーション同様の現象・効果が得られるかを明らかにするとともに、当初の計画通り、画像復元に用いられる自己符号化器の周波数情報復元への援用、並びに、学習の進行と共に徐々に減衰・欠損する周波数情報の範囲を意図的に増加させるデータ拡張／カリキュラム学習法の導入を検討することによって、測距誤差率10%以内の達成を目指していく。
|
