2023 Fiscal Year Research-status Report
Attention機構に基づく異種集合マッチング方式の分析と新方式の提案
| Project/Area Number |
23K11218
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
八谷 大岳 和歌山大学, システム工学部, 准教授 (00578908)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | 集合間マッチング / 集合生成 / 集合Retrieval / Transformer / Attention機構 / 深層モデル |
|---|
| Outline of Annual Research Achievements |
本研究では、ステップ１として、2023年度から2024年度前半にかけて、最先端の集合マッチング方式における次の2つの課題を分析し独自の解決方法を提案することを計画している。
課題1）集合の要素数は、たかだか数個と文章の語数と比べると非常に少ないため、要素ベクトルにより構成される部分空間は小さく、attention機構によるベクトル変換の自由度が極めて低くなると予想される。
課題2）集合間の類似スコアの計算において、最先端方式ではattention機構のsoftmaxや非負制約のReLUを用いるため、マッチングスコアに寄与しない要素ベクトルが存在しうる。そのため、原理的には、学習の初期パラメータ次第では勾配消失が起こり、深層モデルを十分に学習できないことが予想される。
本年度は、本計画に従い、これらの課題を分析し、課題を解決する新規性の高い集合間マッチング方式を提案し、その成果を、国際論文誌Neurocomputing（IF6.0）にて発表した。
具体的には、課題1に関して、部分空間を拡張するために、集合代表ベクトルと呼ばれる、学習可能なベクトルを各集合に要素として追加するとともに、2つの集合の要素と集合代表ベクトルにより構成される部分空間を用いてベクトル変換を行う非対称attention機構を提案した。これにより、従来の方式と比べて自由度が高く、マッチングに対しより識別的なベクトル変換が行えると期待される。課題２に関して、2つの集合代表ベクトルの内積による単純なマッチングスコア計算方法を提案した。これにより、マッチングスコアの計算時に、勾配消失を回避することが期待される。そして、トイ問題、Group Re-IDおよびファッションコーデ推薦の実験評価を通して、提案法の有効性を示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
計画通りにステップ１の内容を進め、国際論文誌Neurocomputingにてその成果を発表することができたため。
|
| Strategy for Future Research Activity |
【今後の研究の推進方策】
2024年度後半に以下のステップ2に着手する予定でいたが、2024年度の前半に前倒し、2024年度の後半に国内会議発表および国際会議投稿を目指す。
ステップ２では、より発展的な異種集合マッチングとして、クエリ集合にマッチする集合（要素ベクトルの組み合わせ）を生成する実用性の高い問題を定式化し独自性の高い解決方法を提案する。例えば、ステップ１の要素ベクトル変換方法を拡張し、word2vec（Mikolov et al., Neurips2013）のように、要素ベクトル同士を加減算できるよう特徴空間を構築する。そして、クエリ集合の代表ベクトルに到達するギャラリ要素の最短経路を探索する問題として定式化するなど、新しい枠組みを提案する。そして、ステップ１と同様のデータを用いた実験を通して、その有効性を分析するとともに、研究成果を、機械学習、画像認識の国際会議および論文誌にて報告する。
|
| Causes of Carryover |
2023年度に国内会議または国際会議発表を想定して旅費を計上していたが、採録まで時間がかかる国際論文誌への投稿を優先し会議発表を行わなかった。そのため、次年度使用額が生じた。
|
