2022 Fiscal Year Research-status Report
機械学習によって行列画像から反復法の収束を予測し、適切な解法を選択する方法の検討
| Project/Area Number |
22K12056
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
長谷川 秀彦 筑波大学, 図書館情報メディア系, 教授 (20164824)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
手塚 太郎 筑波大学, システム情報系, 教授 (40423016)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | クリロフ部分空間法 / 大規模疎行列 / 収束性判定 / 機械学習 / 畳み込みニューラルネットワーク / 自己注意ネットワーク / CNN / SAN |
|---|
| Outline of Annual Research Achievements |
クリロフ部分空間法は大規模疎行列を係数とする連立一次方程式の解法としてもっとも効率的な手法のひとつであるが、理論は収束が保証されていても、実際は一部の行列で収束しない。もし与えられた行列に対するクリロフ部分空間法の収束が事前に判定できれば、その行列に対しては別の解法を適用すれば、全体として計算資源の節約になる。
本研究では深層学習を用い、収束の成否がすでに知られている大規模行列の集合によって新規に与えられた行列の収束性を判定する分類器を訓練することを試みる。行列は2次元に配置された有限個の実数データであるため、行列を画像化し、深層学習による画像認識において広く使われているネットワーク構造である畳み込みニューラルネットワーク（CNN）によって判別する手法を開発した。
しかしCNNが画像認識において有効であるのは、隣り合うピクセルや領域の間で高い相関があり、それを畳み込みによって平均化できるためと考えられている。いっぽう、行列の値を画像化したデータにおいては、隣接しあう行や列の要素間に一般の画像と同様の相関があるとは考えられない。そこで、より自由度が高く、離れた領域間の相関も見つけられるアテンションメカニズム、特に自己注意ネットワーク（SAN: self-attention network）の考え方を取り入れることで、判定精度の向上を達成しようとしている。
n×n個の実数値（次元数 nは行列によって異なる）を持つ行列を、同一サイズの画像データに変換して機械学習に利用するための画像化法についても検討が必要だが、こちらの問題については未着手である。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
研究代表者の退職に関連した研究以外の業務の増大、研究分担者の長期海外滞在にともなう研究環境ならびに研究内容の変化によって、本研究にさける時間が予想外に少なくなったため、進捗は芳しくない。
研究代表者による予備的な研究では畳み込みニューラルネットワーク（CNN）を収束性判定の分類器として使用していた。
CNNにおける畳み込みは近接する行同士、列同士をまとめていくという演算であるが、行列データにおいて隣り合う隣り合う行同士、列同士に類似性があるとは考えにくく、畳み込みが妥当な帰納バイアスであるのか疑問が残る。近年、空間的に近接するとは限らない素子同士をデータにもとづいて統合していく枠組みとして、アテンションネットワークが高い性能をおさめている。
そこで2022年度は、自己注意ネットワークの代表的なモデルであるSAN (self-attention network)の一部を分離器として組み込む実装を行った。SANは自己注意ブロック（self-attention block）を多数重ねる構成をしているが、これをベースとなるCNNに追加するモデルを実装し、評価実験を行っている。
|
| Strategy for Future Research Activity |
引き続き自己注意メカニズムの有効性を検証すると共に、収束性判定の学習によって得られる重みがどのような意味を持つのかを明らかにしていく。
SHapley Additive exPlanations （SHAP）などの解釈可能化手法を導入することでどのような帰納バイアスが有効となっているのかを分析し、数値解析の視点からも興味深い知見を得ることを目指す。
|
| Causes of Carryover |
未使用分の多くは、研究分担者の長期海外滞在によって研究費の使途が大きく制限されたためである。
本年度は、当初の計画にあった機械学習用マシン（半精度ハードウェア）の導入、海外での国際会議発表などに予算を使用する予定である。
|
