2022 Fiscal Year Research-status Report
計算モデルにガイドされた急成長を伴う時空間モデルの開発
| Project/Area Number |
20K12065
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
大北 剛 九州工業大学, 大学院情報工学研究院, 准教授 (20615520)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
有村 公一 九州大学, 医学研究院, 助教 (00638025)
飯原 弘二 国立研究開発法人国立循環器病研究センター, 病院, 病院長 (90270727)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Keywords | 医療画像 / 深層学習 / 疑似相関問題 / 機械学習の仮定 / クラス不均衡問題 |
|---|
| Outline of Annual Research Achievements |
本年度は, 大きく2つの活動を行った. 1つ目, 血腫の画像認識タスクは, モダンな認識モデルを用いて転移学習を行うとみかけ上は低いテスト誤差となる. 因果関係にある物体をトレーニングデータから消去するという形の疑似相関問題への対処を行い, クラス不均衡問題への対処をクラス重み法で対処した上で, 半教師ありバージョンのマルチインスタンス学習を行う形のアルゴリズムを実験した. 半教師ありバージョンの深層マルチインスタンス学習は,深層マルチインスタンス学習をベースとした改良版として開発した. これに伴い, 半教師ありとして実験するための全体の準備と実験を行った. 具体的には, 半教師ありとして用いるためのアノテーションを行うための補助ツールを開発, 研究室でアノテーションを実行, マルチラベル学習も考慮したトライアルも実行などである. 2つ目、一方, ここでは全体として極めてステップ数の多い学習を行う. つまり, 疑似相関問題やクラス不均衡問題への対処を行ない, かつ, 認識やセマンティックセグメンテーションのジョイント学習などを行う. この学習過程を深層学習でエンドツーエンドでデザインするには, 埋め込みをどう連結するかをデザインする必要がある. 安易にデザインすると、(1)小規模のデータであるためにバイアスのかかる過程が多い, (2) SimCLRなどを用いると埋め込みを変形する, などを考慮する必要がある. なお, 上記いずれも, 査読なしの学会発表で初期版の発表を行ったのみで, 内容を追加して、洗練して, 査読つきの国際学会に通す作業は年度が変ってから作業をしている.
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
我々の血腫の画像認識タスクは, モダンな認識モデル(ViTやEfficientNet)を用いて転移学習を行うとみかけ上は低いテスト誤差となる. しかし, 注意機構や説明可能AI(たとえば,GradCam)で認識した原因を探ると認識できておらず, 血腫ではなく骨や背景などが原因で認識されているのが大半であることが判る. 疑似相関問題、クラス不均衡問題, 共分散シフト問題, 少量データ問題など機械学習の仮定が間違えていることを起因とする誤まった結果を得る場合, これらの原因を回避する形で画像認識を行う形でなければ, 正確なテスト誤差は測定できない. 一方、血腫は形状が固定ではなく, 変形するという問題がある. 1つ目は, 疑似相関問題、クラス不均衡問題, 共分散シフト問題などを回避する形の設定の追求であった. 2つ目は, 画像認識とセマンティックセグメンテーションのジョイント学習とする設定においては, セマンティックセグメンテーションという若干異なるタスクを同時に設定することにより, 画像内で認識させるターゲットが局所的であっても, そのフォーカスをジョイント部分に置く形の学習へと導いた. 3つ目に, 少量のみラベルが存在する問題を全面に出し, 少量のラベルつきデータを補助した形の, 半教師ありマルチインスタンス学習を取り上げた。バグレベルのモデルの表現力は高ランクから出発するために、最小ノルムと低ランクを目指して, インスタンスレベルのモデルをフラットな解を得て機械学習の汎化能力を得るための方法である. 以上が, これまでに達成したところである. 本年度行う予定の血腫画像生成を除いては内容的には達成した部分が多いが, 一部、作業を残した部分もある. なお, 国際会議論文やジャーナルのレベルでは採択されておらず, 本年度努力を行いたい.
|
| Strategy for Future Research Activity |
まず, (A)血腫の画像認識タスクをコアに据えて, いくつかの深層学習アルゴリズムを適用して精度上げること, (B)これまで準備していた血腫の画像生成タスクを本格的に始めることの2つを中心とした探求を行う. (A)は, これまでの研究内容を洗練して, また、足りない部分を補足して, 国際学会かジャーナルでの発表を目指した活動を行う. (B)の画像生成に対しては, 困難なタスクであることは構想段階から予期しているが, 画像生成の技術はここ2年で大幅な進歩を遂げ, 拡散モデル, フローモデル, 敵対的生成モデル, 自己回帰モデル, VAEモデルなどいくつかの異なる様式が提案されている. これらを比較することも行いながら, 成果に繋げることができればと考える. (C) 一方, 本プロジェクトを企画した4年前と, 画像生成を取り巻く技術の進歩は目覚ましく、特に, ChatGPT/GPT-4などを始めとする画像も含むファンデーションモデル/事前学習モデルを用いた形の学習が行えるかどうかの調査も含めたい。なお, 医療系の画像に関するデータが入手できるかどうかが非常なボトルネックとなることは予期している. (D) この医用系タスクではないタスクでも, 深層学習的なシナリオは類似するものもある. これらのタスクも追加すると, 査読つきの論文では見栄えがする. このため, この方向の努力も行いたい.
|
| Causes of Carryover |
工学的な問題が多く, 計画の段階でも、医学的な見地からの意見は後半に配置していたにも拘わらず、配分を1, 2年目にしていたことを原因として, 現在まで残金が発生した. 使用計画としては, 血腫生成タスクにおける医学的見地からの意見を交換するに当たって、関係して発生する諸々の費用(旅費、謝金など)に用いたい.
|
