| 研究課題/領域番号 |
23K18490
|
|---|
| 研究種目 |
挑戦的研究(萌芽)
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
中区分61:人間情報学およびその関連分野
|
|---|
| 研究機関 | 横浜国立大学 |
|---|
研究代表者 |
濱上 知樹 横浜国立大学, 大学院工学研究院, 教授 (30334204)
|
|---|
| 研究期間 (年度) |
2023-06-30 – 2026-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
6,240千円 (直接経費: 4,800千円、間接経費: 1,440千円)
2025年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2024年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
2023年度: 3,120千円 (直接経費: 2,400千円、間接経費: 720千円)
|
|---|
| キーワード | VisionTransformer / 超解像 / 医用画像 / 深層学習 / 異常検知 |
|---|
| 研究開始時の研究の概要 |
超解像技術とは、大量の画像から学習された結果を用いて、低解像画像データからオリジナルに近い美しい高解像画像を生成する手法である。これに対し本研究は、観測者の目的や仮定に沿った情報（文脈）を無意識に当てはめることで従来の特徴抽出に欠けている探索的プロセスを実現することをめざす。具体的には、画像の文脈情報の取得とその特徴に応じたバイアスを用いる。そして、文脈的バイアスを強調あるいは削除することで「視たいもの」と「見えているもの」の違いを際立たせ「違和感」の気づきを与える。このしくみが実現することで，医療や産業応用における高度な経験値が必要な異常検知を実現する。
|
| 研究実績の概要 |
正常と異常の境界領域付近という意味ではなく、ある種の経験的仮説をもって画像中の特徴を読み取ったときに認知上に現れる非言語的情報を扱う「認知的超解像」の技術として、ViT(Vision Transformer)で学習された文脈バイアスの抽出を試みた。初年度には①動体からの認知的超解像、②静止画像からの超解像を試みた。①として、MRI画像からの卵巣がん種判定を試み、CNNとViTを組み合わせたモデル(HybridViT)とFocal lossを併用するマルチモーダル学習で判定精度を75%→94%に向上させることに成功した。②として生殖医療における精子評価の手法としてTimesFormerをエンコーダーとして文脈バイアスと取り出し、またAttention スコアに基づいて重要な局所パッチを選択するPatch Selection Module（PSM）およびPSM で選択された局所パッチを効果的に利用し，細粒度な空間特徴と時間特徴を分離して明示的に抽出するRole-Separated Branch (RSB) を併用した方法を考案した。ベースラインとした、R3D, X3D, I3D, SlowFast, VIViT, TimesFormerに比べ優位性を示すことができた。これらの成果は、文脈バイアスに基づく認知的超解像技術の有効性を示す成果として重要な意味を持つ。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
ViTを発展させた文脈バイアス抽出法として、静止画、動画それぞれに対して典型的な手法を提案し、かつベースラインとなる手法との比較によって有効性を示すことができた。いずれも医療画像分析においてSoTAとなる結果であり、ドメイン依存の部分は残るとしても一定の有効性・新規性を実現できた。
|
| 今後の研究の推進方策 |
データが十分に集まらない場合についての検証、医療応用を中心に置きながらも、ドメイン依存にならないあるいは認知的超解像のドメイン転移についても検討を進める。
|
