2022 Fiscal Year Annual Research Report
深層学習と統計モデリングの融合による自然現象予報のための画像変換方法の検討
| Project/Area Number |
20K11863
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
八谷 大岳 和歌山大学, システム工学部, 講師 (00578908)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 深層学習 / 点過程 / マルチスモーダル / Transformer / Attention機構 |
|---|
| Outline of Annual Research Achievements |
本研究では、ステップ1として、2021年度前半までに、ディープニューラルネットワークの画像変換技術と、自然科学にて研究が進んでいる統計モデルとを融合し、過去のイベントの時空間情報から未来のイベントを予測する方法を検討し、ステップ２として、2021年度後半から、近年、先端技術として注目を集めているTransformerを導入し、ステップ１の方式を拡張する計画である。
最終の本年度は、本計画に従い検討を行い、まずステップ1の成果を国際論文誌Neural computationに2022年5月に投稿し、2023年3月に採録となった。具体的には、不規則に発生するイベントの統計モデルとして知られている点過程において、過去のイベントの時空間的な系列から特徴量を抽出し、時空間的な強度関数を推定するために、理論的な強度関数の分解に基づくマルチストリーム点過程方式を提案し、トイデータ、地震、犯罪およびレンタルのイベント発生データを用いた実験を通して、その有効性を示した。
次に、ステップ２の成果を、IBISML2022-1およびIBIS2022（情報論的学習理論ワークショップ）にて発表するとともに、2022年12月に国際論文誌Neurocomputingに投稿した（2023年3月に査読結果に対する修正版を提出し、現在は結果待ち状態）。具体的には、直近のイベントに基づきイベント系列の特徴抽出を行う既存のTransformer方式に対し、任意の学習可能なベクトルをイベントの一つとして系列に組み込み、Attention機構を通して多様な系列パターンの特徴量を抽出できるように拡張した。また、未来のイベントの候補ベクトルも同様に組み込むことにより高い精度でのイベント予測を実現した。そして、ステップ１と同様の実験を通して、既存の最先端の点過程方式と実験的に比較し、提案法の有効性を示した。
|
