| 研究課題/領域番号 |
23K26070
|
|---|
| 補助金の研究課題番号 |
23H01375 (2023)
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 基金 (2024)
補助金 (2023) |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分20020:ロボティクスおよび知能機械システム関連
|
|---|
| 研究機関 | 東京電機大学 |
|---|
研究代表者 |
高畑 智之 東京電機大学, 工学部, 教授 (80529652)
|
|---|
| 研究期間 (年度) |
2024-04-01 – 2026-03-31
|
| 研究課題ステータス |
交付 (2024年度)
|
| 配分額 *注記 |
18,850千円 (直接経費: 14,500千円、間接経費: 4,350千円)
2025年度: 5,330千円 (直接経費: 4,100千円、間接経費: 1,230千円)
2024年度: 5,330千円 (直接経費: 4,100千円、間接経費: 1,230千円)
2023年度: 8,190千円 (直接経費: 6,300千円、間接経費: 1,890千円)
|
|---|
| キーワード | 長波長赤外 / ステレオ画像 / マルチモーダル画像 / 画像合成 / 画像認識 |
|---|
| 研究開始時の研究の概要 |
人や物の移動を支援する自律移動ロボットの研究開発が盛んに進められており、安全な移動のためには環境認識の精度向上が重要である。なかでも、生活空間に多数存在するガラスなどの透明物は、従来の可視光から近赤外光までを利用したカメラやデプスカメラでは確実に検出できないことが課題となっていた。我々がこれまでに研究してきた可視光と長波長赤外（LWIR）を同じ視点から撮影した同軸画像を利用したガラスの存在推定では、距離は推定できていなかった。そこで本研究では、可視画像とLWIR画像を別の視点からステレオ撮影し、透明物であっても三次元位置を推定することのできる、可視・LWIRステレオ画像の認識方法を確立する。
|
| 研究実績の概要 |
長波長赤外（LWIR）画像の合成方法の研究として、これまでに取得したLWIR画像と物体温度などのパラメータを参考にして、LWIR画像を合成する方法を実装した。ペットボトルのUniversal Scene Description (USD)形式の三次元モデルを出力するPythonのプログラムを実装し、そのモデルをNVIDIA社のIsaacSimに読み込ませて、机の上にボトルを置いた状況のLWIR画像を合成できることを確認した。机の反射率を設定することで実際のLWIR画像に近づけられることを確認した。それと同時に、可視、デプス、セマンティックセグメンテーションの各画像を一括で合成できることを確認した。
可視・LWIRステレオ画像を入力とする認識モデルの研究として、可視またはLWIRステレオ画像を入力とする既存の研究のレビューを実施し、可視・LWIR同軸カメラを2つ配置したステレオ同軸画像のデータセットおよびそれらの画像を入力とするデプス推定モデルが有用であることを見出した。また、実世界の可視、LWIR画像とデプス画像の取得に向けて、キャリブレーション方法の実装と検証実験を行った。その結果、デプスカメラのRGB画像とLWIR画像との外部パラメータを推定し、デプス情報をLWIR画像に射影できることを示した。この成果について日本ロボット学会学術講演会で発表した。
移動ロボットを用いた認識モデルの検証に関連して、使用する2種類の移動ロボット（車輪型と歩行型）のうち、四脚歩行ロボットのセットアップと歩行動作獲得の実験を行った。
|
| 現在までの達成度 |
現在までの達成度
2: おおむね順調に進展している
理由
LWIR画像の合成方法を実装したものの、対象物が限られており十分でない。また、デプスカメラを用いた実世界の距離情報の取得が十分に進まなかった。一方で、移動ロボットを用いた認識モデルの検証に向けて、前年度はHSR（車輪型）、今年度は四脚歩行ロボットを用いた研究を進め、計画以上に進展した。以上を総合して、おおむね順調に進展している。
|
| 今後の研究の推進方策 |
当初の予定通り、LWIR画像の合成方法および可視・LWIRステレオ画像を入力とする認識モデルを完成させ、移動ロボットを用いた認識モデルの検証を行う。
LWIR画像の合成方法の研究では、画像の種類ごとに適切なノイズを重畳することでより写実的な画像を合成する。さらに、生活空間において実際に撮影した画像を比較、検証する。ここで合成したデータは物体の形状、位置、材質などを指定して合成するため、アノテーションが付与されており、教師あり機械学習をすることができる。
可視・LWIRステレオ画像を入力とする認識モデルの研究として、合成した画像を含む大規模データを利用して機械学習を実施する。可視およびLWIR画像を入力としてデプス画像を出力する既存のネットワークを、セマンティックセグメンテーションも推定するように拡張していく。
移動ロボットを用いた認識モデルの検証を行う。使用する移動ロボットはこれまでにセットアップを進めてきた車輪型と歩行型のものである。これらの移動ロボットに可視・LWIRステレオカメラと小型計算機を搭載して認識モデルを実装し、実世界を移動して撮影した画像を入力としてリアルタイムに推論計算を実行する。
|
