Study of index construction and compression algorithms in fully-online setting
| Project/Area Number |
21K17817
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Fujitsu Limited (Fujitsu Research) |
|---|
Principal Investigator |
高木 拓也 富士通株式会社(富士通研究所), その他部局等, 研究員 (20855449)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2024: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
|
|---|
| Keywords | 文字列情報学 / 全文索引 / オンライン索引 / 圧縮索引 / 接尾辞木 / 羅生門集合 / 説明可能性 / 圧縮アルゴリズム / 完全オンライン索引 |
|---|
| Outline of Research at the Start |
ネットワークとセンサー技術の発展により，あらゆる場所に設置された情報源から日々膨大なデータ（ストリームデータ）が生み出され続けている．これらはデータの一次元的連結である文字列として扱うことができる．そこで本研究では，複数のストリームからデータが逐次的に集約される「マルチストリームデータ」を効率よく処理するための文字列索引・文字列圧縮技術・その他文字列アルゴリズムの開発を行う．完全オンラインと呼ばれるマルチストリーム下を想定した問題設定において新たな文字列アルゴリズム，特に完全オンライン圧縮文字列索引を開発することを目標にし，膨大なマルチストリームデータの効率の良い処理を実現する．
|
| Outline of Annual Research Achievements |
本研究は，様々な文字列情報学における問題に対し「どのようにすれば完全オンラインへの拡張が可能か？」を明らかにすることを目標としている．特に，(i)文脈性 (ii)完全オンライン性 (iii) 低メモリ性をもつ索引，すなわち「完全オンライン圧縮文字列索引」の構築を目指している．これを実現するためには，圧縮索引の通常オンライン構築アルゴリズムの開発と，その完全オンライン化の二つのステップが必要である．
2022年度は機械学習分野において決定木モデルの列挙構造が動的計画法と同様の構造を持つことを見出し，『羅生門集合』と呼ばれる最適決定木とほとんど同じ精度を持つ決定木の集合を構築するアルゴリズムを初めて与えることに成功した．列挙した決定木は特徴量数の指数個存在する可能性があるため，これを保持するためにはよりコンパクトな索引が必要となる．この課題に対して本研究の圧縮索引構造のアイデアを用いることにより解決することに成功した．羅生門集合は機械学習モデルの説明可能性から近年注目されている概念であり，今後決定木以外のモデルへの拡張が考えられる．また昨年度に引き続き，東北大学のDiptarama Hendrian助教授・九州大学の稲永俊介教授らの協力のもと，昨年度おおむね完成していた最近印付き祖先（Nearest Marked Ancestor）クエリ構造を利用する線形サイズ接尾辞木（Linear-size Suffix Tree）の構築アルゴリズムを精査し具体的な手法を与えることに成功した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2022年度は当初予定していた完全オンライン化に関する問題解決が想定よりも進まなかった一方で，機械学習分野における応用成果が得られ国際会議における発表を実現できた．特に羅生門集合の構築は機械学習の説明可能性分野で注目されている問題であり，これに初めての解法を与えることができたことの意義は大きいと考えている．
|
| Strategy for Future Research Activity |
今後は今年度解決できなかった圧縮索引化が可能なCDAWGと呼ばれる索引構造の完全オンライン構築アルゴリズムを開発する．具体的には，CDAWGは接尾辞木を同値類的観点からコンパクトに表現したものであるため，接尾辞木の完全オンライン構築アルゴリズムを実現する際に用いたDAWGとの並列構築手法をCDAWGにも適用することを考えたい．
また，今年度開発した羅生門集合の構築手法をほかの機械学習モデルに発展させることを考えたい．具体的には，決定木と同様にルールベースモデルとなるルールセットや，CDAWGと同様のDAG構造を持つ因果グラフなどの離散構造に着目した新たな手法を与えたいと考えている．
|
Report
(2 results)
Research Products
(7 results)
