• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

Transformerアーキテクチャに基づくマルチモーダル物体認識技術の開発

研究課題

研究課題/領域番号 22K17918
研究種目

若手研究

配分区分基金
審査区分 小区分61010:知覚情報処理関連
研究機関新居浜工業高等専門学校

研究代表者

田中 大介  新居浜工業高等専門学校, 機械工学科, 准教授 (70782613)

研究期間 (年度) 2022-04-01 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2023年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
2022年度: 2,730千円 (直接経費: 2,100千円、間接経費: 630千円)
キーワード物体認識 / Transformer / マルチモーダルセンサ / 特徴抽出 / センサフュージョン / 自己符号化器
研究開始時の研究の概要

近年、センサの低価格化に伴い、様々な環境において、マルチモーダルセンサ情報(視覚・触覚・聴覚など)が得られるようになっている。このセンサから得られる膨大な情報を実時間で統合し活用できれば、産業分野における異常検出など、様々な応用先が考えられる。本研究ではそれらセンサ情報に基づく物体認識を問題設定とし、その膨大な情報を用いた低計算量での認識を実現するため、マルチモーダルセンサ情報を相補的に利活用するアルゴリズムを提案する。提案法は畳み込みなどの演算を必要とせず、従来法よりも低計算量での認識を可能にし、様々な産業分野における実時間認識技術の確立に貢献できる。

研究実績の概要

近年、視覚・触覚・聴覚など様々なセンサが実用化され、これらのセンサを組み合わせである『マルチモーダルセンサ』の情報が手軽に得られる状況になっており、様々な分野で活用することが期待されている。本研究ではマルチモーダルセンサ情報に基づく物体認識問題に対し、Transformerアーキテクチャに基づく物体認識モデルを構築し、マルチモーダルセンサ情報を相補的に利活用する低計算量な物体認識法を開発することを目的としている。
令和5年度は、昨年度提案した認識アルゴリズムの有効性と実用性の確認を行うため、ロボットによる認識実験を予定していた。まず、アーム型のロボットを導入し、既存のセンサを組み合わせて、環境要因をできるだけ排除可能な実験システムを整えた。このシステムを用いて、視覚・聴覚情報に特徴が含まれる物体を対象にした認識実験を計画した。必要な認識モデルの学習用データの取得ならびに学習を行い、実用性の観点から認識アルゴリズムの特徴を明らかにするための作業を行った。
これに並行して、認識アルゴリズムのハードウェア実装に関する検討を行った。実環境における性能評価を行う際に、汎用の計算機で認識演算を行うと、演算時間に大きなばらつきが見られた。このばらつきを含む評価単位で提案アルゴリズムの有効性を測るよりも、実際の利用環境を想定した評価を行うことが有益と考え、専用ハードウェアへの実装が一つの解であると考えた。そのため、実験を行うにあたり、汎用の計算機での実験に並行し、専用ハードウェアへの実装方法について検討を開始した。当該年度においては、Transformerアーキテクチャのうち、Attention機構についての実装可能性と、実装可能なモデルの複雑さの調査を行った。

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

認識アルゴリズムの有効性と実用性の確認を行うためのロボットによる認識実験について、ロボットの導入が想定より遅くなったことにより、認識モデルの学習データが不十分な状態である。この実験を早急に進め、提案アルゴリズムの特性解析を急ぎたいと考えている。

今後の研究の推進方策

当初2年間で実施する計画であったが、実験の遅れにより計画を変更(1年間延長)した。この遅れを取り戻し、ハードウェア実装の可能性についても並行して検証したい。

報告書

(2件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 研究成果

    (3件)

すべて 2024 2022

すべて 学会発表 (3件) (うち国際学会 2件)

  • [学会発表] FPGA-Based Deep-Pipelined Architecture for Vision Transformer's Multi-Head Attention2024

    • 著者名/発表者名
      Hasitha Muthumala Waidyasooriya, Masanori Hariyama, Daisuke Tanaka
    • 学会等名
      The 25th Workshop on Synthesis And System Integration of Mixed Information Technologies (SASIMI 2024)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] A feature extraction method for anomaly detection of objects from auditory information using autoencoder2022

    • 著者名/発表者名
      Rikuto Kawaguchi, Daisuke Tanaka
    • 学会等名
      The 54th ISCIE International Symposium on Stochastic Systems Theory and Its Applications
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Transformerアーキテクチャに基づく視覚・聴覚情報の統合システムの開発2022

    • 著者名/発表者名
      田中大介, 川口陸斗
    • 学会等名
      第37回信号処理シンポジウム
    • 関連する報告書
      2022 実施状況報告書

URL: 

公開日: 2022-04-19   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi