2022 Fiscal Year Research-status Report
Transformerアーキテクチャに基づくマルチモーダル物体認識技術の開発
| Project/Area Number |
22K17918
|
|---|
| Research Institution | Niihama National College of Technology |
|---|
Principal Investigator |
田中 大介 新居浜工業高等専門学校, 機械工学科, 准教授 (70782613)
|
|---|
| Project Period (FY) |
2022-04-01 – 2024-03-31
|
| Keywords | 特徴抽出 / センサフュージョン / 物体認識 / 自己符号化器 |
|---|
| Outline of Annual Research Achievements |
近年、センサの低価格化に伴い、様々な環境において、マルチモーダルセンサ情報（視覚・触覚・聴覚など）が得られるようになっている。このセンサから得られる膨大な情報を実時間で統合し活用できれば、産業分野における異常検出など、様々な応用先が考えられる。本研究ではそれらセンサ情報に基づく物体認識を問題設定とし、その膨大な情報を用いた低計算量での認識を実現するため、自然言語処理分野で成果をあげているTransformerアーキテクチャに基づくマルチモーダルセンサ情報を相補的に利活用する物体認識モデルを提案することを目的として研究を行っている。
2022年度は、提案法の第一ステップとして、視覚・聴覚の2情報を基に物体認識を行うアルゴリズムの開発を行った。提案手法のベースとなるアルゴリズムについてはすでに申請者により実装済みであったため、このアルゴリズムを視覚情報（画像）以外のセンサ情報を取り扱い可能な形に拡張した。アルゴリズムの有効性検証のため、色や硬さの異なるボールの認識実験を行った。視覚・聴覚情報を訓練データとして取得し、両情報を活かした認識が行えているかどうかを検証した。提案法は畳み込みなどの演算を必要とせず、ベースとなるアルゴリズムとほぼ同等の計算量で認識を実現できていることを確認した。この成果を国内会議にて発表した。また並行して、聴覚情報からの特徴抽出法について自己符号化器を基にした手法を検討し、国際会議にて発表を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初予定していたアルゴリズム開発は視覚・聴覚情報に限定されているもの、実物体を用いた認識実験による検証まで完了している。その他の情報も統合する目処は立っており、おおむね順調に進展していると考える。
|
| Strategy for Future Research Activity |
2023年度は最終年度でもあるため、提案アルゴリズムの有効性と実用性の確認を行うために現実的な物体セットを対象にした認識実験で有効性を検証する予定である。ここまでの検証実験で用いたボールのみならず、先行研究に倣い使い捨て紙コップやぬいぐるみなどを用いて、より現実的な物体を対象にした検証を実施する。この実験を通して、実用的なアルゴリズムとして確立されたかどうかを包括的に検証する予定である。また、これらのハードウェア実装についても検討を行い、計算量の観点からもより詳しく有効性を確認する予定である。
|
| Causes of Carryover |
発表を行った国際会議が国内開催であったため、旅費関連で予定より少ない支出金額となった。次年度の国際会議での発表旅費と、世界的な半導体価格の高騰による物品費の補填として使用を予定している。
|
