| 研究課題/領域番号 |
22K12056
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分60100:計算科学関連
|
|---|
| 研究機関 | 筑波大学 |
|---|
研究代表者 |
長谷川 秀彦 筑波大学, 図書館情報メディア系(名誉教授), 名誉教授 (20164824)
|
|---|
| 研究分担者 |
手塚 太郎 筑波大学, システム情報系, 教授 (40423016)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2026-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2025年度: 520千円 (直接経費: 400千円、間接経費: 120千円)
2024年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2023年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2022年度: 2,340千円 (直接経費: 1,800千円、間接経費: 540千円)
|
|---|
| キーワード | クリロフ部分空間法 / 大規模疎行列 / 収束性判定 / 機械学習 / 畳み込みニューラルネットワーク / 事前学習 / 自然画像 / 自己注意ネットワーク / CNN / SAN / 反復法 / 行列画像 / 疎行列 |
|---|
| 研究開始時の研究の概要 |
テストデータセット内の行列に対して、以下の点を検討することになる：
・各種反復解法を用いて収束データを取得すること
・行列の特性を保持して、行列データを機械学習に適した画像データに変換する方法を検討すること
・疎行列から作成した画像に対する効果的な機械学習方法を検討ルこと
・画像データと収束データを組み合わせて、どこまで正確な予測が可能かを明らかにすること
|
| 研究実績の概要 |
大規模疎行列を係数とする連立一次方程式の解法であるクリロフ部分空間法は、理論では収束が保証されていても、実際の計算において一部の行列で収束しないという問題がある。
そこで本研究ではクリロフ部分空間法を実行する前に、深層学習による係数行列のグレイスケール画像に対する分類器で収束性の有無を予測することで適切なアルゴリズムの選択を可能とし、結果的に計算時間の節約を目指している。これまでの研究成果として、畳み込みニューラルネットワーク (CNN) を用いた分類で精度80%という良い分類結果が得られているが、本年度は事前学習を用いることでさらなる性能向上を図った。
事前学習には画像認識で広く用いられる自然画像の大規模データセットであるImageNetを使用した。関連する研究として、自然画像による事前学習によってX線画像診断画像の性能が向上することは知られていた。今回、ニューラルネットワークの構造としてResNet-50ならびにEfficientNetV2を用い、ImageNetによる事前学習を入れた場合と入れない場合とで比較実験を行った。その結果、事前学習を行うことで精度、AUROC (Area Under the Receiver Operating Characteristic curve) 、MCC (Matthews Correlation Coefficient) がいずれも向上することが示された。特にEfficientNetV2-Sをモデルとして使用した場合、事前学習のない場合に対し、事前学習ありでは精度が1.8%から4.9%、AUROCが4%から5%、MCCが8%から22%の向上となった。
これは事前学習の強力さ、また画像のドメインをまたいだ帰納バイアスの有効性、さらには事前学習を行わない畳み込みニューラルネットワークの性能向上の限界を示すものと考えられる。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
4: 遅れている
理由
研究代表者の退職にともなう研究環境の激変、研究分担者の異動、新規業務の担当に伴う変化によって、今年度も十分な時間を割くことが難しかった。
今年度の主要な成果としては、ニューラルネットワークの構造としてResNet-50ならびにEfficientNetV2を実装し、ImageNetによる事前学習を入れた場合と入れない場合とで比較実験を行った。また、実験に使用するソフトウェア環境の再構築、新環境でのデータの統一的な再計測なども行い、次年度の準備とした。
|
| 今後の研究の推進方策 |
現時点での有効性を記録に残すため、まずは結果の発表、論文採録をめざす。
これまでの研究から、収束性判定の予測精度は連立一次方程式の元となった問題が何であるかによって大きな差が生じることが分かっている。さらに、事前学習の効果も問題の種類によって異なり、たとえば流体力学の問題から生成された行列において性能向上が大きい。データセットには行列がどのような問題から生成されているかを表すメタデータが存在するので、連立一次方程式についてのメタデータから得られる表も特徴量のひとつとして利用することを計画している。そこで表データと画像データを統合的に扱えるマルチモーダルのネットワーク構造を構築し、アテンションメカニズムを持つニューラルネットワークであるTabNetやFT-Transformerの実装を進めて訓練を行う。
また、これまで計数行列の各成分の絶対値を使うことで、0から255の範囲にスケーリングし、グレイスケール画像への変換を行っていた。この手法では正値と負値の違いが失われてしまう。そこで正値のみを使うチャネル、負値のみを使うチャネル、絶対値を使うチャネルという三つを入力として用いた多チャネル画像化を行うことにより、ニューラルネットワークが受け取る情報を増やす工夫を行う。
|
