| 研究課題/領域番号 |
23K11218
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61030:知能情報学関連
|
|---|
| 研究機関 | 和歌山大学 |
|---|
研究代表者 |
八谷 大岳 和歌山大学, システム工学部, 准教授 (00578908)
|
|---|
| 研究期間 (年度) |
2023-04-01 – 2026-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2025年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2024年度: 520千円 (直接経費: 400千円、間接経費: 120千円)
2023年度: 3,250千円 (直接経費: 2,500千円、間接経費: 750千円)
|
|---|
| キーワード | 集合間マッチング / 集合生成 / 集合Retrieval / Transformer / Attention機構 / 深層モデル / 深層学習 / 異種集合マッチング / 集合ベクトル組み込み |
|---|
| 研究開始時の研究の概要 |
調和する画像集合同士を照合する異種集合マッチングでは、attention機構を用いた方式が提案されてきた。しかし、従来方式では、集合マッチングにおけるattention機構の原理的有効性が明らかになっていない。また、集合の候補が事前に与えられることを前提にしているため、未知の入力への適用を想定していない。
本研究では、理論的および定量的な分析を通して、異種集合マッチングにおけるattention機構の原理と課題を明らかにするとともに、当該課題を解決する新しいattention機構を提案する。また、マッチする要素の組み合わせを探索し自動的に集合を生成する、新しい集合マッチングの枠組みを提案する。
|
| 研究実績の概要 |
本研究では、ステップ１として、2023年度から2024年度前半にかけて、最先端の集合マッチング方式における次の2つの課題を分析し独自の解決方法を提案することを計画している。
課題1）集合の要素数は、たかだか数個と文章の語数と比べると非常に少ないため、要素ベクトルにより構成される部分空間は小さく、attention機構によるベクトル変換の自由度が極めて低くなると予想される。
課題2）集合間の類似スコアの計算において、最先端方式ではattention機構のsoftmaxや非負制約のReLUを用いるため、マッチングスコアに寄与しない要素ベクトルが存在しうる。そのため、原理的には、学習の初期パラメータ次第では勾配消失が起こり、深層モデルを十分に学習できないことが予想される。
本年度は、本計画に従い、これらの課題を分析し、課題を解決する新規性の高い集合間マッチング方式を提案し、その成果を、国際論文誌Neurocomputing（IF6.0）にて発表した。
具体的には、課題1に関して、部分空間を拡張するために、集合代表ベクトルと呼ばれる、学習可能なベクトルを各集合に要素として追加するとともに、2つの集合の要素と集合代表ベクトルにより構成される部分空間を用いてベクトル変換を行う非対称attention機構を提案した。これにより、従来の方式と比べて自由度が高く、マッチングに対しより識別的なベクトル変換が行えると期待される。課題２に関して、2つの集合代表ベクトルの内積による単純なマッチングスコア計算方法を提案した。これにより、マッチングスコアの計算時に、勾配消失を回避することが期待される。そして、トイ問題、Group Re-IDおよびファッションコーデ推薦の実験評価を通して、提案法の有効性を示した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
計画通りにステップ１の内容を進め、国際論文誌Neurocomputingにてその成果を発表することができたため。
|
| 今後の研究の推進方策 |
【今後の研究の推進方策】
2024年度後半に以下のステップ2に着手する予定でいたが、2024年度の前半に前倒し、2024年度の後半に国内会議発表および国際会議投稿を目指す。
ステップ２では、より発展的な異種集合マッチングとして、クエリ集合にマッチする集合（要素ベクトルの組み合わせ）を生成する実用性の高い問題を定式化し独自性の高い解決方法を提案する。例えば、ステップ１の要素ベクトル変換方法を拡張し、word2vec（Mikolov et al., Neurips2013）のように、要素ベクトル同士を加減算できるよう特徴空間を構築する。そして、クエリ集合の代表ベクトルに到達するギャラリ要素の最短経路を探索する問題として定式化するなど、新しい枠組みを提案する。そして、ステップ１と同様のデータを用いた実験を通して、その有効性を分析するとともに、研究成果を、機械学習、画像認識の国際会議および論文誌にて報告する。
|
