時系列データの更新可能な汎用的埋め込み表現モデルの開発

• Project/Area Number: 23K16889
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 60080:Database-related
• Research Institution: Osaka University
• Principal Investigator: 村山 太一 大阪大学, 産業科学研究所, 特任助教(常勤) (40974861)
• Project Period (FY): 2023-04-01 – 2026-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000); Fiscal Year 2025: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2024: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
• Keywords: 時系列 / 埋め込み表現

Outline of Research at the Start

本研究では、IoTデバイス、Web上のオンライン活動等、様々なドメインから生成される多種多様な時系列ビッグデータストリームを汎用的な埋め込み表現を獲得し複数のタスクに対応できる新たなモデルおよびアルゴリズムの開発を目的とする。研究代表者らがこれまでに開発した時系列解析技術を発展させ、既存の深層学習に基づく技術では実現できなかった分類・回帰・異常値検出のタスクに対し同時に適用できる汎用アルゴリズムの開発を行う。

Outline of Annual Research Achievements

現在、工場の稼働データやウェブのアクセス履歴といった多種多様な時系列データが日々生まれている。しかしながら、これらのデータを有効活用するためには、ドメイン知識が必要となることから、様々なデータに対して一般的に活用できる時系列分析手法の開発には現在至っていない。本研究では、様々なドメインから生成される多種多様な時系列データの汎用的な埋込表現を獲得し複数のタスクに対応可能なモデル、おより、アルゴリズムの開発を目的としている。
該当年度では、現在一般的な深層学習モデルとなっているTransformerが時系列データに対してどのように挙動しているかの予備的分析を行った。この結果、一般的なTrasnformerでは時系列の低周波成分を適切にとらえることが難しく、ここに改良するべき余地が残されていることが明らかとなった。
また、ウェブ時系列データに存在する潜在的なドメイン知識を捉えるための手法の開発にも現在取り組んでいる。これは、埋め込み表現から自動的に時系列の特性を捉えることが可能かどうかを検討するというものである。
今後は、これらの開発で得られた技術を汎用的な時系列埋め込み表現の開発に応用することを目指す。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

該当年度では、時系列の埋込表現モデルの有効性を検証する予備的分析を行ったが、論文誌の採択や外部発表などの成果はなかった。しかしがながら、本研究課題で得られたいくつかの論文や成果は複数の国際会議に投稿中であり、研究成果が目の見える形で発表される準備は十分に整っている。このことから、該当年度における達成度は「おおむね順調」であるといえる。

Strategy for Future Research Activity

今後の研究の推進方策として、予備的調査で得られたTransofrmerの時系列データに対する特性を踏まえ、汎用的な時系列埋め込み表現モデルの開発を進める。また、時系列埋め込み表現モデルが、ウェブデータなどのドメインに有効活用可能かどうかの検討を進める。