• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

計算モデルにガイドされた急成長を伴う時空間モデルの開発

研究課題

研究課題/領域番号 20K12065
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分62010:生命、健康および医療情報学関連
研究機関九州工業大学

研究代表者

大北 剛  九州工業大学, 大学院情報工学研究院, 准教授 (20615520)

研究分担者 有村 公一  九州大学, 医学研究院, 助教 (00638025)
飯原 弘二  国立研究開発法人国立循環器病研究センター, 病院, 病院長 (90270727)
研究期間 (年度) 2020-04-01 – 2025-03-31
研究課題ステータス 交付 (2022年度)
配分額 *注記
4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2024年度: 130千円 (直接経費: 100千円、間接経費: 30千円)
2023年度: 390千円 (直接経費: 300千円、間接経費: 90千円)
2022年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2021年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2020年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
キーワード医療画像 / 深層学習 / 疑似相関問題 / 機械学習の仮定 / クラス不均衡問題 / マルチタスク学習 / ハイブリッドな入力に対する学習 / OR型の結合タスク / GAN / 物体検知 / 自己教師あり学習 / 分布外分布の問題 / 脳血腫の解析 / 頭蓋骨の消去 / セマンティックセグメンテーション / 脳血腫 / 機械学習の仮定による問題 / 時空間モデル
研究開始時の研究の概要

脳血腫は6-24時間に急成長を遂げ, 予測を誤り脳外科医が手術しなければ命を落とす. 急成長の予測は低頻度事象を学習する困難な問題だが, 血腫という動的形状の物体であるため, 種々の機械学習の仮定が現実に守られないことによる問題(擬似相関による対象のすり替え/不均衡/欠損値/共変量/ラベルづけ不一致問題)を生じる. 本課題はこれらの難しさを対象のすり替えを起こりそうな信号を別の信号への翻訳, 分散埋め込みをベースとする低頻度現象の予測, CT画像シミュレーションを時空間モデルとして開発する. 脳血腫成長の予測精度を上げ, CTを備えた小病院が患者を大病院へ送還するシナリオを実現する.

研究実績の概要

本年度は, 大きく2つの活動を行った. 1つ目, 血腫の画像認識タスクは, モダンな認識モデルを用いて転移学習を行うとみかけ上は低いテスト誤差となる. 因果関係にある物体をトレーニングデータから消去するという形の疑似相関問題への対処を行い, クラス不均衡問題への対処をクラス重み法で対処した上で, 半教師ありバージョンのマルチインスタンス学習を行う形のアルゴリズムを実験した. 半教師ありバージョンの深層マルチインスタンス学習は,深層マルチインスタンス学習をベースとした改良版として開発した. これに伴い, 半教師ありとして実験するための全体の準備と実験を行った. 具体的には, 半教師ありとして用いるためのアノテーションを行うための補助ツールを開発, 研究室でアノテーションを実行, マルチラベル学習も考慮したトライアルも実行などである. 2つ目、一方, ここでは全体として極めてステップ数の多い学習を行う. つまり, 疑似相関問題やクラス不均衡問題への対処を行ない, かつ, 認識やセマンティックセグメンテーションのジョイント学習などを行う. この学習過程を深層学習でエンドツーエンドでデザインするには, 埋め込みをどう連結するかをデザインする必要がある. 安易にデザインすると、(1)小規模のデータであるためにバイアスのかかる過程が多い, (2) SimCLRなどを用いると埋め込みを変形する, などを考慮する必要がある. なお, 上記いずれも, 査読なしの学会発表で初期版の発表を行ったのみで, 内容を追加して、洗練して, 査読つきの国際学会に通す作業は年度が変ってから作業をしている.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

我々の血腫の画像認識タスクは, モダンな認識モデル(ViTやEfficientNet)を用いて転移学習を行うとみかけ上は低いテスト誤差となる. しかし, 注意機構や説明可能AI(たとえば,GradCam)で認識した原因を探ると認識できておらず, 血腫ではなく骨や背景などが原因で認識されているのが大半であることが判る. 疑似相関問題、クラス不均衡問題, 共分散シフト問題, 少量データ問題など機械学習の仮定が間違えていることを起因とする誤まった結果を得る場合, これらの原因を回避する形で画像認識を行う形でなければ, 正確なテスト誤差は測定できない. 一方、血腫は形状が固定ではなく, 変形するという問題がある. 1つ目は, 疑似相関問題、クラス不均衡問題, 共分散シフト問題などを回避する形の設定の追求であった. 2つ目は, 画像認識とセマンティックセグメンテーションのジョイント学習とする設定においては, セマンティックセグメンテーションという若干異なるタスクを同時に設定することにより, 画像内で認識させるターゲットが局所的であっても, そのフォーカスをジョイント部分に置く形の学習へと導いた. 3つ目に, 少量のみラベルが存在する問題を全面に出し, 少量のラベルつきデータを補助した形の, 半教師ありマルチインスタンス学習を取り上げた。バグレベルのモデルの表現力は高ランクから出発するために、最小ノルムと低ランクを目指して, インスタンスレベルのモデルをフラットな解を得て機械学習の汎化能力を得るための方法である. 以上が, これまでに達成したところである. 本年度行う予定の血腫画像生成を除いては内容的には達成した部分が多いが, 一部、作業を残した部分もある. なお, 国際会議論文やジャーナルのレベルでは採択されておらず, 本年度努力を行いたい.

今後の研究の推進方策

まず, (A)血腫の画像認識タスクをコアに据えて, いくつかの深層学習アルゴリズムを適用して精度上げること, (B)これまで準備していた血腫の画像生成タスクを本格的に始めることの2つを中心とした探求を行う. (A)は, これまでの研究内容を洗練して, また、足りない部分を補足して, 国際学会かジャーナルでの発表を目指した活動を行う. (B)の画像生成に対しては, 困難なタスクであることは構想段階から予期しているが, 画像生成の技術はここ2年で大幅な進歩を遂げ, 拡散モデル, フローモデル, 敵対的生成モデル, 自己回帰モデル, VAEモデルなどいくつかの異なる様式が提案されている. これらを比較することも行いながら, 成果に繋げることができればと考える. (C) 一方, 本プロジェクトを企画した4年前と, 画像生成を取り巻く技術の進歩は目覚ましく、特に, ChatGPT/GPT-4などを始めとする画像も含むファンデーションモデル/事前学習モデルを用いた形の学習が行えるかどうかの調査も含めたい。なお, 医療系の画像に関するデータが入手できるかどうかが非常なボトルネックとなることは予期している. (D) この医用系タスクではないタスクでも, 深層学習的なシナリオは類似するものもある. これらのタスクも追加すると, 査読つきの論文では見栄えがする. このため, この方向の努力も行いたい.

報告書

(3件)
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 研究成果

    (29件)

すべて 2022 2021 2020 その他

すべて 国際共同研究 (3件) 雑誌論文 (9件) (うち国際共著 3件、 査読あり 7件、 オープンアクセス 2件) 学会発表 (16件) (うち国際学会 2件) 備考 (1件)

  • [国際共同研究] Sussex University/Queens Mary London(英国)

    • 関連する報告書
      2021 実施状況報告書
  • [国際共同研究] Concordia(カナダ)

    • 関連する報告書
      2021 実施状況報告書
  • [国際共同研究] Ss. Cyril and Methodius University(マケドニア旧ユーゴスラビア共和国)

    • 関連する報告書
      2021 実施状況報告書
  • [雑誌論文] 会議報告:NeurIPS 2020(The 34th Conference on Neural Information Processing Systems)2021

    • 著者名/発表者名
      高瀬 翔, 坂本 陸, 大北 剛
    • 雑誌名

      人工知能

      巻: 36 号: 4 ページ: 527-531

    • DOI

      10.11517/jjsai.36.4_527

    • NAID

      130008060910

    • ISSN
      2188-2266, 2435-8614
    • 年月日
      2021-07-01
    • 関連する報告書
      2021 実施状況報告書
  • [雑誌論文] Three-Year Review of the 2018?2020 SHL Challenge on Transportation and Locomotion Mode Recognition From Mobile Sensors2021

    • 著者名/発表者名
      Wang Lin、Gjoreski Hristijan、Ciliberto Mathias、Lago Paula、Murao Kazuya、Okita Tsuyoshi、Roggen Daniel
    • 雑誌名

      Frontiers in Computer Science

      巻: 3 ページ: 1-24

    • DOI

      10.3389/fcomp.2021.713719

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Activity Knowledge Graph Recognition by Eye Gaze: Identification of Distant Object in Eye Sight for Watch Activity2021

    • 著者名/発表者名
      Toyosaka Yuki、Okita Tsuyoshi
    • 雑誌名

      Adjunct Proceedings of the 2021 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2021 ACM International Symposium on Wearable Computers

      巻: 1 ページ: 412-422

    • DOI

      10.1145/3460418.3479351

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり
  • [雑誌論文] Activity Simulation from Signals2021

    • 著者名/発表者名
      Okita Tsuyoshi
    • 雑誌名

      Adjunct Proceedings of the 2021 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2021 ACM International Symposium on Wearable Computers

      巻: 1 ページ: 59-60

    • DOI

      10.1145/3460418.3479275

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり
  • [雑誌論文] Locomotion and Transportation Mode Recognition from GPS and Radio Signals: Summary of SHL Challenge 20212021

    • 著者名/発表者名
      Wang Lin、Ciliberto Mathias、Gjoreski Hristijan、Lago Paula、Murao Kazuya、Okita Tsuyoshi、Roggen Daniel
    • 雑誌名

      Adjunct Proceedings of the 2021 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2021 ACM International Symposium on Wearable Computers

      巻: 1 ページ: 412-422

    • DOI

      10.1145/3460418.3479373

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] Summary of the Third Nurse Care Activity Recognition Challenge - Can We Do from the Field Data?2021

    • 著者名/発表者名
      Alia Sayeda Shamma、Adachi Kohei、Hossain Tahera、Le Nhat Tan、Kaneko Haru、Lago Paula、Okita Tsuyoshi、Inoue Sozo
    • 雑誌名

      Adjunct Proceedings of the 2021 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2021 ACM International Symposium on Wearable Computers

      巻: 1 ページ: 428-433

    • DOI

      10.1145/3460418.3479391

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり
  • [雑誌論文] 9th International Workshop on Human Activity Sensing Corpus and Applications (HASCA)2021

    • 著者名/発表者名
      Murao Kazuya、Enokibori Yu、Gjoreski Hristijan、Lago Paula、Okita Tsuyoshi、Siirtola Pekka、Hiroi Kei、Scholl Philipp M.、Ciliberto Mathias、Urano Kenta
    • 雑誌名

      Adjunct Proceedings of the 2021 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2021 ACM International Symposium on Wearable Computers

      巻: 1 ページ: 281-284

    • DOI

      10.1145/3460418.3479266

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] Improvement of Human Action Recognition Using 3D Pose Estimation2021

    • 著者名/発表者名
      Adachi Kohei、Lago Paula、Okita Tsuyoshi、Inoue Sozo
    • 雑誌名

      Smart Innovation, Systems and Technologies 204

      巻: 204 ページ: 21-37

    • DOI

      10.1007/978-981-15-8944-7_2

    • ISBN
      9789811589430, 9789811589447
    • 関連する報告書
      2021 実施状況報告書
    • 査読あり
  • [雑誌論文] 脳血腫の分類: セグメンテーションと分類のジョイント学習2021

    • 著者名/発表者名
      平野北斗, 大北 剛
    • 雑誌名

      arXiv

      巻: 2103.17172 ページ: 5-5

    • 関連する報告書
      2020 実施状況報告書
    • オープンアクセス
  • [学会発表] 脳血腫マーカーのローカルな画像パッチの深層学習を用いたマルチインスタンス学習2022

    • 著者名/発表者名
      加藤 舜斗, 有村 公一, 飯原 弘二, 大北 剛.
    • 学会等名
      第13回日本医療情報学会「医用人工知能研究会」人工知能学会「医用人工知能研究会」(SIG-AIMED)合同研究会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 脳血腫マーカーの画像パッチのマルチラベル学習2022

    • 著者名/発表者名
      加藤 舜斗, 河津 水紀, 中島 崇晴, 有村 公一, 飯原 弘二, 大北 剛
    • 学会等名
      DICOMOシンポジウム
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 手の混んだ医療画像の解析などに対する画像に対する深層学習の表現の考察2022

    • 著者名/発表者名
      大北 剛
    • 学会等名
      「医用人工知能研究会」人工知能学会「医用人工知能研究会」(SIG-AIMED)合同研究会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] ハミルトニアンニューラルネットワークの人間行動認識への応用2022

    • 著者名/発表者名
      豊坂 祐樹, 大北 剛
    • 学会等名
      DICOMOシンポジウム
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 脳血腫の急成長の予測2021

    • 著者名/発表者名
      大北剛,中山俊太朗,山本周平,森山幹太,平野北斗,有村公一,飯原弘二
    • 学会等名
      第12回AIM 合同研究会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 距離画像推定情報を用いた複数人の行動認識2021

    • 著者名/発表者名
      豊坂祐樹,大北剛
    • 学会等名
      第72回UBI研究会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 弱教師ありセマンティックセグメンテーション2021

    • 著者名/発表者名
      大北剛,平野北斗,森山幹太,有村公一,飯原弘二
    • 学会等名
      第23回日本知能情報ファジィ学会九州支部学術講演会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] JPEGの画像表現を用いた画像生成の高速化2021

    • 著者名/発表者名
      大北剛, 管谷克彦, 坂本比呂志
    • 学会等名
      IBIS 2021
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 脳血腫マーカーの分類: 認識、物体検知、敵対的生成法、セマンティックセグメンテーション2021

    • 著者名/発表者名
      大北剛, 平野北斗, 森山幹太, 有村公一, 飯原弘二
    • 学会等名
      第11回AIM合同研究会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 非接触性の人と物体における相互作用検出方法の提案2021

    • 著者名/発表者名
      豊坂祐樹, 大北剛
    • 学会等名
      DICOMOシンポジウム
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] NeurIPS2020における深層学習の研究動向2021

    • 著者名/発表者名
      大北 剛
    • 学会等名
      AIトレンドトップカンファレンス報告会(人工知能学会)
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] グローバルな情報を加味するセマンティックセグメンテーションとラベルの重複を許す分類のジョイント学習2020

    • 著者名/発表者名
      平野北斗, 竹本和広, 大北剛
    • 学会等名
      第23回情報理論的学習理論ワークショップ(IBIS2020). 電子情報通信学会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] U-netを用いた異常検知による肺炎の検知.2020

    • 著者名/発表者名
      長村 徹, 徳永 旭将, 大北 剛
    • 学会等名
      DICOMOシンポジウム
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] Perception of Interaction between Hand and Object.2020

    • 著者名/発表者名
      Yuki Toyosaka, Tsuyoshi Okita
    • 学会等名
      Proceedings of the 2020 ACM International Joint Conference and 2020 International Symposium on Pervasive and Ubiquitous Computing and Wearable Computers Adjunct
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] 手と物体の相互作用の認識とその知識グラフの生成2020

    • 著者名/発表者名
      豊坂祐樹, 大北剛
    • 学会等名
      DICOMOシンポジウム.
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] Improvement of Human Action Recognition Using 3D Pose Estimation2020

    • 著者名/発表者名
      Kohei Adachi, Paula Lago, Tsuyoshi Okita, Sozo Inoue
    • 学会等名
      International Conference on Activity and Behavior Computing
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [備考] 代表者のホームページ

    • URL

      http://150.69.83.101/tsuyoshi/index.html

    • 関連する報告書
      2020 実施状況報告書

URL: 

公開日: 2020-04-28   更新日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi