Integration of a deep probabilistic model and an outlier detection method with an attention mechanism and its application to super-high dimensional time series data
| Project/Area Number |
23K28047
|
|---|
| Project/Area Number (Other) |
23H03357 (2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60030:Statistical science-related
Basic Section 61030:Intelligent informatics-related
Sections That Are Subject to Joint Review: Basic Section60030:Statistical science-related , Basic Section61030:Intelligent informatics-related
|
|---|
| Research Institution | Chuo University |
|---|
Principal Investigator |
樋口 知之 中央大学, 理工学部, 教授 (70202273)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大草 孝介 中央大学, 理工学部, 准教授 (30636907)
中村 和幸 明治大学, 総合数理学部, 専任教授 (40462171)
|
|---|
| Project Period (FY) |
2023-04-01 – 2027-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥18,330,000 (Direct Cost: ¥14,100,000、Indirect Cost: ¥4,230,000)
Fiscal Year 2026: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Fiscal Year 2025: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2024: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000)
Fiscal Year 2023: ¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000)
|
|---|
| Keywords | 時系列解析 / 深層確率モデル / 異常検知 / マルチチャンネルデータ / 変分推論 |
|---|
| Outline of Research at the Start |
本研究課題では、教師無し学習あるいは自己教師あり学習の枠組みで、我々が開発してきた二つの要素技術、a) 新規の学習アルゴリズムを含む逐次変分オートエンコーダをベースにした深層確率モデルと、b) 異常検知向きのAttention機構を用いた深層学習の、 a) と b)を統合することを目指す。
|
| Outline of Annual Research Achievements |
時系列解析分野における深層学習手法の応用研究は、長期予測性能の向上と異常値の判別の二つどちらかの目的の達成を目指すものが多い。本研究課題では、教師無し学習あるいは自己教師あり学習の枠組みで、我々がこの2、3年開発してきた二つの要素技術、a) 新規の学習アルゴリズムを含む逐次変分オートエンコーダをベースにした深層確率モデルと、b) 異常検知向きのAttention機構を用いた深層学習の、 a) と b)を統合することを目指す。時系列データの解析向きにVAEを改変したモデル群がSVAE（Sequential VAE）で，その骨格的構造と機能は、状態空間モデルと類似点が多数ある。最近では、自然言語の分野で革命的なインパクトのあったTransformer (2017) に代表されるAttention機構を活用した予測手法も少しずつ提案されている。時系列データ解析においては、季節性や周期性と同時に、長期・短期依存性を把握することが重要である。この観点からSVAEとAttention機構を用いた異常検知のDNNを統合する方式を検討した。あわせて、Attention機構を用いた異常検知の手法を、マルチチャンネル数20程度まで取り扱えるようにする際の問題点を洗い出した。実データ分析のため、ドップラーレーダの収集も開始した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
理論面での進捗をワークショップで発表し参加者と意見交換したことで、検討している統合方式の妥当性を確認することができた。また機械学習と統計学の両方に詳しい研究者が多く参加する研究会にて情報収集を行い、性能的には部分的な改良に留まる可能性はあるがヒントとなる新しい手法の知識を得た。実データへの応用に関しては、センサーデータからの多次元時系列データの収集を開始した。また、センサーデータ以外の多様な多次元時系列に含まれる異常値の取り扱いについて、その分野の識者にアドバイスを仰ぎ、開発する手法の汎用性を高める上で有用な知見を得た。
|
| Strategy for Future Research Activity |
異常検知の性能をSOTA（State of the Art）レベルに保ちながら、超マルチチャンネルの時系列データの発生メカニズムに関する知識発見をも得意とする手法の研究開発を行う。近年の著しい計測・観測機器の性能向上により、数百といった規模のチャンネル数をもつ時系列データも普通になってきている。特に、製造業においては、工場内のかなりの数の製造装置にスマートセンサを取り付け、多数の時系列データを同時にモニターしながら、製造不良を事前に発見するなどの取り組みもようやく活発化してきている。本研究課題で開発する統合手法をそのようなデータに適用することにより、製造業のDX（デジタルトランスフォーメーション）の一つであるスマートファクトリーの実現に資する。
近年、画像生成AIに著しい進捗をもたらした理論である拡散モデルは、その理論的枠組みはベイズ統計である。さらに仮想的時間の導入で構築されたアルゴリズム体系は、状態空間モデルとほぼ同一である。従って長年、状態空間モデル周辺の数値的解法の研究に取り組んできた我々は、本研究課題に拡散モデルを導入することに長けている。その方向性も検討しつつ、研究をすすめていく。
|
Report
(1 results)
Research Products
(7 results)
