Transformerアーキテクチャに基づくマルチモーダル物体認識技術の開発

Research Project

Project/Area Number	22K17918
Research Category	Grant-in-Aid for Early-Career Scientists
Allocation Type	Multi-year Fund
Review Section	Basic Section 61010:Perceptual information processing-related
Research Institution	Niihama National College of Technology
Principal Investigator	田中大介新居浜工業高等専門学校, 機械工学科, 准教授 (70782613)
Project Period (FY)	2022-04-01 – 2024-03-31
Project Status	Granted (Fiscal Year 2022)
Budget Amount *help	¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000) Fiscal Year 2023: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000) Fiscal Year 2022: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
Keywords	特徴抽出 / センサフュージョン / 物体認識 / 自己符号化器
Outline of Research at the Start	近年、センサの低価格化に伴い、様々な環境において、マルチモーダルセンサ情報（視覚・触覚・聴覚など）が得られるようになっている。このセンサから得られる膨大な情報を実時間で統合し活用できれば、産業分野における異常検出など、様々な応用先が考えられる。本研究ではそれらセンサ情報に基づく物体認識を問題設定とし、その膨大な情報を用いた低計算量での認識を実現するため、マルチモーダルセンサ情報を相補的に利活用するアルゴリズムを提案する。提案法は畳み込みなどの演算を必要とせず、従来法よりも低計算量での認識を可能にし、様々な産業分野における実時間認識技術の確立に貢献できる。
Outline of Annual Research Achievements	近年、センサの低価格化に伴い、様々な環境において、マルチモーダルセンサ情報（視覚・触覚・聴覚など）が得られるようになっている。このセンサから得られる膨大な情報を実時間で統合し活用できれば、産業分野における異常検出など、様々な応用先が考えられる。本研究ではそれらセンサ情報に基づく物体認識を問題設定とし、その膨大な情報を用いた低計算量での認識を実現するため、自然言語処理分野で成果をあげているTransformerアーキテクチャに基づくマルチモーダルセンサ情報を相補的に利活用する物体認識モデルを提案することを目的として研究を行っている。 2022年度は、提案法の第一ステップとして、視覚・聴覚の2情報を基に物体認識を行うアルゴリズムの開発を行った。提案手法のベースとなるアルゴリズムについてはすでに申請者により実装済みであったため、このアルゴリズムを視覚情報（画像）以外のセンサ情報を取り扱い可能な形に拡張した。アルゴリズムの有効性検証のため、色や硬さの異なるボールの認識実験を行った。視覚・聴覚情報を訓練データとして取得し、両情報を活かした認識が行えているかどうかを検証した。提案法は畳み込みなどの演算を必要とせず、ベースとなるアルゴリズムとほぼ同等の計算量で認識を実現できていることを確認した。この成果を国内会議にて発表した。また並行して、聴覚情報からの特徴抽出法について自己符号化器を基にした手法を検討し、国際会議にて発表を行った。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 当初予定していたアルゴリズム開発は視覚・聴覚情報に限定されているもの、実物体を用いた認識実験による検証まで完了している。その他の情報も統合する目処は立っており、おおむね順調に進展していると考える。
Strategy for Future Research Activity	2023年度は最終年度でもあるため、提案アルゴリズムの有効性と実用性の確認を行うために現実的な物体セットを対象にした認識実験で有効性を検証する予定である。ここまでの検証実験で用いたボールのみならず、先行研究に倣い使い捨て紙コップやぬいぐるみなどを用いて、より現実的な物体を対象にした検証を実施する。この実験を通して、実用的なアルゴリズムとして確立されたかどうかを包括的に検証する予定である。また、これらのハードウェア実装についても検討を行い、計算量の観点からもより詳しく有効性を確認する予定である。