2023 年度実施状況報告書

機械学習によって行列画像から反復法の収束を予測し、適切な解法を選択する方法の検討

研究課題

研究課題/領域番号	22K12056
研究機関	筑波大学
研究代表者	長谷川秀彦筑波大学, 図書館情報メディア系(名誉教授), 名誉教授 (20164824)
研究分担者	手塚太郎筑波大学, システム情報系, 教授 (40423016)
研究期間 (年度)	2022-04-01 – 2026-03-31
キーワード	クリロフ部分空間法 / 大規模疎行列 / 収束性判定 / 機械学習 / 畳み込みニューラルネットワーク / 事前学習 / 自然画像
研究実績の概要	大規模疎行列を係数とする連立一次方程式の解法であるクリロフ部分空間法は、理論では収束が保証されていても、実際の計算において一部の行列で収束しないという問題がある。そこで本研究ではクリロフ部分空間法を実行する前に、深層学習による係数行列のグレイスケール画像に対する分類器で収束性の有無を予測することで適切なアルゴリズムの選択を可能とし、結果的に計算時間の節約を目指している。これまでの研究成果として、畳み込みニューラルネットワーク (CNN) を用いた分類で精度80%という良い分類結果が得られているが、本年度は事前学習を用いることでさらなる性能向上を図った。事前学習には画像認識で広く用いられる自然画像の大規模データセットであるImageNetを使用した。関連する研究として、自然画像による事前学習によってX線画像診断画像の性能が向上することは知られていた。今回、ニューラルネットワークの構造としてResNet-50ならびにEfficientNetV2を用い、ImageNetによる事前学習を入れた場合と入れない場合とで比較実験を行った。その結果、事前学習を行うことで精度、AUROC (Area Under the Receiver Operating Characteristic curve) 、MCC (Matthews Correlation Coefficient) がいずれも向上することが示された。特にEfficientNetV2-Sをモデルとして使用した場合、事前学習のない場合に対し、事前学習ありでは精度が1.8%から4.9%、AUROCが4%から5%、MCCが8%から22%の向上となった。これは事前学習の強力さ、また画像のドメインをまたいだ帰納バイアスの有効性、さらには事前学習を行わない畳み込みニューラルネットワークの性能向上の限界を示すものと考えられる。
現在までの達成度 (区分)	現在までの達成度 (区分) 4: 遅れている理由研究代表者の退職にともなう研究環境の激変、研究分担者の異動、新規業務の担当に伴う変化によって、今年度も十分な時間を割くことが難しかった。今年度の主要な成果としては、ニューラルネットワークの構造としてResNet-50ならびにEfficientNetV2を実装し、ImageNetによる事前学習を入れた場合と入れない場合とで比較実験を行った。また、実験に使用するソフトウェア環境の再構築、新環境でのデータの統一的な再計測なども行い、次年度の準備とした。
今後の研究の推進方策	現時点での有効性を記録に残すため、まずは結果の発表、論文採録をめざす。これまでの研究から、収束性判定の予測精度は連立一次方程式の元となった問題が何であるかによって大きな差が生じることが分かっている。さらに、事前学習の効果も問題の種類によって異なり、たとえば流体力学の問題から生成された行列において性能向上が大きい。データセットには行列がどのような問題から生成されているかを表すメタデータが存在するので、連立一次方程式についてのメタデータから得られる表も特徴量のひとつとして利用することを計画している。そこで表データと画像データを統合的に扱えるマルチモーダルのネットワーク構造を構築し、アテンションメカニズムを持つニューラルネットワークであるTabNetやFT-Transformerの実装を進めて訓練を行う。また、これまで計数行列の各成分の絶対値を使うことで、0から255の範囲にスケーリングし、グレイスケール画像への変換を行っていた。この手法では正値と負値の違いが失われてしまう。そこで正値のみを使うチャネル、負値のみを使うチャネル、絶対値を使うチャネルという三つを入力として用いた多チャネル画像化を行うことにより、ニューラルネットワークが受け取る情報を増やす工夫を行う。
次年度使用額が生じた理由	これまでの成果を論文にまとめて投稿したが不採録となったため、国際会議発表のための旅費、論文掲載料などの予定が狂ってしまった。論文発表を最優先課題としているため、予算は次年度に繰り越して、論文掲載料や国際会議発表の旅費として使用したい。