| Project/Area Number |
22K12056
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60100:Computational science-related
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
長谷川 秀彦 筑波大学, 図書館情報メディア系(名誉教授), 名誉教授 (20164824)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
手塚 太郎 筑波大学, システム情報系, 教授 (40423016)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2025: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2024: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
|
|---|
| Keywords | クリロフ部分空間法 / 大規模疎行列 / 収束性判定 / 機械学習 / 畳み込みニューラルネットワーク / 事前学習 / 自然画像 / 自己注意ネットワーク / CNN / SAN / 反復法 / 行列画像 / 疎行列 |
|---|
| Outline of Research at the Start |
テストデータセット内の行列に対して、以下の点を検討することになる：
・各種反復解法を用いて収束データを取得すること
・行列の特性を保持して、行列データを機械学習に適した画像データに変換する方法を検討すること
・疎行列から作成した画像に対する効果的な機械学習方法を検討ルこと
・画像データと収束データを組み合わせて、どこまで正確な予測が可能かを明らかにすること
|
| Outline of Annual Research Achievements |
大規模疎行列を係数とする連立一次方程式の解法であるクリロフ部分空間法は、理論では収束が保証されていても、実際の計算において一部の行列で収束しないという問題がある。
そこで本研究ではクリロフ部分空間法を実行する前に、深層学習による係数行列のグレイスケール画像に対する分類器で収束性の有無を予測することで適切なアルゴリズムの選択を可能とし、結果的に計算時間の節約を目指している。これまでの研究成果として、畳み込みニューラルネットワーク (CNN) を用いた分類で精度80%という良い分類結果が得られているが、本年度は事前学習を用いることでさらなる性能向上を図った。
事前学習には画像認識で広く用いられる自然画像の大規模データセットであるImageNetを使用した。関連する研究として、自然画像による事前学習によってX線画像診断画像の性能が向上することは知られていた。今回、ニューラルネットワークの構造としてResNet-50ならびにEfficientNetV2を用い、ImageNetによる事前学習を入れた場合と入れない場合とで比較実験を行った。その結果、事前学習を行うことで精度、AUROC (Area Under the Receiver Operating Characteristic curve) 、MCC (Matthews Correlation Coefficient) がいずれも向上することが示された。特にEfficientNetV2-Sをモデルとして使用した場合、事前学習のない場合に対し、事前学習ありでは精度が1.8%から4.9%、AUROCが4%から5%、MCCが8%から22%の向上となった。
これは事前学習の強力さ、また画像のドメインをまたいだ帰納バイアスの有効性、さらには事前学習を行わない畳み込みニューラルネットワークの性能向上の限界を示すものと考えられる。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
研究代表者の退職にともなう研究環境の激変、研究分担者の異動、新規業務の担当に伴う変化によって、今年度も十分な時間を割くことが難しかった。
今年度の主要な成果としては、ニューラルネットワークの構造としてResNet-50ならびにEfficientNetV2を実装し、ImageNetによる事前学習を入れた場合と入れない場合とで比較実験を行った。また、実験に使用するソフトウェア環境の再構築、新環境でのデータの統一的な再計測なども行い、次年度の準備とした。
|
| Strategy for Future Research Activity |
現時点での有効性を記録に残すため、まずは結果の発表、論文採録をめざす。
これまでの研究から、収束性判定の予測精度は連立一次方程式の元となった問題が何であるかによって大きな差が生じることが分かっている。さらに、事前学習の効果も問題の種類によって異なり、たとえば流体力学の問題から生成された行列において性能向上が大きい。データセットには行列がどのような問題から生成されているかを表すメタデータが存在するので、連立一次方程式についてのメタデータから得られる表も特徴量のひとつとして利用することを計画している。そこで表データと画像データを統合的に扱えるマルチモーダルのネットワーク構造を構築し、アテンションメカニズムを持つニューラルネットワークであるTabNetやFT-Transformerの実装を進めて訓練を行う。
また、これまで計数行列の各成分の絶対値を使うことで、0から255の範囲にスケーリングし、グレイスケール画像への変換を行っていた。この手法では正値と負値の違いが失われてしまう。そこで正値のみを使うチャネル、負値のみを使うチャネル、絶対値を使うチャネルという三つを入力として用いた多チャネル画像化を行うことにより、ニューラルネットワークが受け取る情報を増やす工夫を行う。
|
