ELITE：出自管理と深層学習に基づく専門知識獲得基盤の開発とその視覚計算応用

2021 年度 実績報告書

• 研究課題/領域番号: 21H04916
• 研究機関: 慶應義塾大学
• 研究代表者: 藤代 一成 慶應義塾大学, 理工学部(矢上), 教授 (00181347)
• 研究分担者: 茅 暁陽 山梨大学, 大学院総合研究部, 教授 (20283195) ; 安達 登 山梨大学, 大学院総合研究部, 教授 (60282125) ; 竹島 由里子 東京工科大学, メディア学部, 教授 (20313398) ; 植村 誠 広島大学, 宇宙科学センター, 准教授 (50403514)
• 研究期間 (年度): 2021-04-05 – 2026-03-31
• キーワード: 知識獲得 / 出自管理 / 深層学習 / 視覚計算応用

研究実績の概要

全5カ年計画の初年度にあたる本年度に実施した主要な研究内容は，以下の5項目に要約できる．
1. MSPL (Multi-Scale Planar Lattice，マルチスカラ平面格子)のデータ表現の概念設計から出発し，視覚発見プロセス（2006）に基づいてMSPLの出自を管理するとともに，その遷移を深層学習できるような制御レイヤを追加した計算パラダイムとして，視考支援基盤を提案した．これは，研究代表者が委員長を務める日本学術会議総合工学委員会可視化の新パラダイム策定小委員会の有力な新パラダイム候補にも選ばれている．
2. 計算法科学を例にとり，項目1の視考支援基盤にそって，専用MSPLの代数系の出自管理をサポートするデータフロー型ビジュアルプログラミング環境の基本設計を完了した．この成果については，1件の学術誌論文と2件の国際会議録論文を公刊した．
3. 光赤外天文学を例にとり，項目1の視考支援基盤にそって，専用MSPLの代数系の出自管理をサポートするデータフロー型ビジュアルプログラミング環境の基本設計に着手した．
4. 大局照明効果を有する人物全身像の画像コンポジット問題や，自然な見えを保証されたNon-Player Character群衆の自動生成，書道における複数書体の文字認識・書体変換問題を題材に，MSPLの深層学習の実利的効果を幅広く確認した．これらの成果については，2件の学術誌論文と1件の国際会議録論文を公刊した．
5. 研究期間全体を通じて利用可能な深層学習用GPUクラスタ環境を代表者が所属する慶應義塾大学に設置し，研究参加者が所属する各機関からPCワークステーションを介して接続可能にするような研究環境を構築した．これに関連して，GPUの高度利用・教育に関連する1件の学術誌論文を公刊した．

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

MSPLのデータ表現およびその出自管理と深層遷移学習の基盤アーキテクチャを提案し，計算法科学と光赤外天文学応用に関しては，出自管理のデータフロー型ビジュアルプログラミング環境を具体的に開発できている．
また，当初より幅広いCG/AR問題に対して，深層遷移学習効果を確認できている．
さらに，研究期間を通じて利用可能な計算環境も整備完了済である．

今後の研究の推進方策

1. 視考支援基盤の深層学習レイヤの充実に努める．具体的には，視覚分析制御パラメタのチューニング，可視化結果の定量的分析，説明可能AIの実現の3点の導入を試みる．
2. 計算法科学専用MSPLの出自管理サポート範囲を，実解剖と仮想解剖の並置化に対応するARにまで拡張する．
3. 光赤外天文学専用MSPLの出自管理・深層遷移学習環境の開発を推進し，具体的な実問題に適用によりその性能を評価する．
4. 大局照明効果を有する人物全身像の画像コンポジット問題を選択し，そのMSPLの深層学習の実利的効果を強化する．
5. 計画当初に含めていたシーンの経年劣化推定問題や点群の光学的パラメタ推定問題への応用にも着手する．

研究成果

• [国際共同研究] University of Alberta(カナダ)
  • 国名: カナダ
  • 外国機関名: University of Alberta
• [雑誌論文] Caps：深層学習を用いた書道作品における書体変換－篆書の文字認識と行書の作品生成 (2022)
  • 著者名/発表者名: 二ノ宮 梢平，藤代 一成
  • 雑誌名: 芸術科学会論文誌 巻: 21 ページ: 11～22
  • 査読あり / オープンアクセス
• [雑誌論文] Controllable automatic generation of non‐player characters in 3D anime style (2022)
  • 著者名/発表者名: Li Ruizhe, Oji Ryo, Fujishiro Issei
  • 雑誌名: Computer Animation and Virtual Worlds 巻: 33 ページ: ー
  • DOI: 10.1002/cav.2047
  • 査読あり
• [雑誌論文] FORSETI: A visual analysis environment for authoring autopsy reports in extended legal medicine mark-up language (2021)
  • 著者名/発表者名: Wang Baoqing, Asayama Yume, Boussejra Malik Olivier, Shojo Hideki, Adachi Noboru, Fujishiro Issei
  • 雑誌名: The Visual Computer 巻: 37 ページ: 2951～2963
  • DOI: 10.1007/s00371-021-02201-7
  • 査読あり
• [雑誌論文] Experiencing GPU path tracing in online courses (2021)
  • 著者名/発表者名: Ohkawara Masaru, Saito Hideo, Fujishiro Issei
  • 雑誌名: Graphics and Visual Computing 巻: 4 ページ: 200022～200022
  • DOI: 10.1016/j.gvc.2021.200022
  • 査読あり / オープンアクセス
• [雑誌論文] LinDA：漫画向けの建造物の背景線画半自動生成 (2021)
  • 著者名/発表者名: 中山 雅紀，野村 芽久美, 藤代 一成
  • 雑誌名: 芸術科学会論文誌 巻: 20 ページ: 210～218
  • 査読あり / オープンアクセス
• [雑誌論文] THEMIS: Context-Sensitive Similarity Analysis for Wound Imagery Using Mathematical Model of Meaning (2021)
  • 著者名/発表者名: Asayama Yume, Wang Baoqing, Nakayama Masanori, Shohjoh Hideki, Adachi Noboru, Kiyoki Yasushi, Fujishiro Issei
  • 雑誌名: Proceedings of Cyberworlds 2021 巻: 20 ページ: 129～132
  • DOI: 10.1109/CW52790.2021.00028
  • 査読あり
• [雑誌論文] Illumination-aware Digital Image Compositing for Full-length Human Figures (2021)
  • 著者名/発表者名: Ohkawara Masaru, Fujishiro Issei
  • 雑誌名: Proceedings of Cyberworlds 2021 巻: 20 ページ: 17～24
  • DOI: 10.1109/CW52790.2021.00011
• [雑誌論文] Whole-Genome Sequencing of a 900-Year-Old Human Skeleton Supports Two Past Migration Events from the Russian Far East to Northern Japan (2021)
  • 著者名/発表者名: Sato Takehiro, Adachi Noboru, Kimura Ryosuke, Hosomichi Kazuyoshi, Yoneda Minoru, Oota Hiroki, Tajima Atsushi, Toyoda Atsushi, Kanzawa-Kiriyama Hideaki, Matsumae Hiromi, Koganebuchi Kae, Shimizu Kentaro K, Shinoda Ken-ichi, Hanihara Tsunehiko, Weber Andrzej, Kato Hirofumi, Ishida Hajime
  • 雑誌名: Genome Biology and Evolution 巻: 13 ページ: evab192:1-18
  • DOI: 10.1093/gbe/evab192
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Detection of 4-FMC, 4-MeO-α-PVP, 4-F-α-PVP, and PV8 in blood in a forensic case using liquid chromatography-electrospray ionization linear ion trap mass spectrometry (2021)
  • 著者名/発表者名: Mochizuki Akira, Adachi Noboru, Shojo Hideki
  • 雑誌名: Forensic Science International 巻: 325 ページ: 110888～110888
  • DOI: 10.1016/j.forsciint.2021.110888
  • 査読あり
• [学会発表] FORSETI: A provenance-aware visual analysis environment for lifecycle management of e-autopsy reports (2022)
  • 著者名/発表者名: Baoqing Wang, Noboru Adachi, Issei Fujishiro:
  • 学会等名: Fifth International Workshop on Big Data Visual Exploration and Analytics
  • 国際学会
• [学会発表] スケーラブルな可視化を目指してー可視化研究開発の自分史を振り返ってー (2022)
  • 著者名/発表者名: 藤代 一成
  • 学会等名: 情報処理学会CGVI 研究会第185 回研究発表会
  • 招待講演
• [学会発表] セルアニメーションのためのモーションキャプチャデータからの動作生成 (2022)
  • 著者名/発表者名: 小六 優依，藤代 一成
  • 学会等名: 情報処理学会第84回全国大会
• [学会発表] 経路誘導による多光源大域照明計算の効率化 (2022)
  • 著者名/発表者名: 杉田 俊平，藤代 一成
  • 学会等名: 情報処理学会第84回全国大会
• [学会発表] 遊色効果のビジュアルシミュレーションのためのボロノイ分割ベースのオパールモデリング (2022)
  • 著者名/発表者名: 横田 壮真，藤代 一成
  • 学会等名: 情報処理学会第84回全国大会
• [学会発表] ボロノイ分割モデルを用いたオパールの遊色効果のビジュアルシミュレーション (2022)
  • 著者名/発表者名: 横田 壮真，杉田 俊平，藤代 一成
  • 学会等名: 情報処理学会CGVI研究会第185回研究発表会
• [学会発表] 速さ分布に注目した中割りによるセルアニメモーション生成 (2022)
  • 著者名/発表者名: 小六 優依，藤代 一成
  • 学会等名: 映像表現・芸術科学フォーラム 2022
• [学会発表] 地形特徴量テクスチャと歩行経路マップに基づく自然景観モデリング支援 (2022)
  • 著者名/発表者名: 西田 良輔，藤代 一成
  • 学会等名: 映像表現・芸術科学フォーラム 2022
• [学会発表] 身体損傷の診察におけるポイント (2022)
  • 著者名/発表者名: 安達 登
  • 学会等名: 令和3年度山梨県小児救急医療研修会
  • 招待講演
• [学会発表] Follow-up observations of galactic transients with astroinformatics (2022)
  • 著者名/発表者名: Makoto Uemura
  • 学会等名: Astroinformatics and Astrostatistics Commission of International Astronomical Union
  • 国際学会 / 招待講演
• [学会発表] 二色塗分けスパークラインを用いた一次元時系列COVID-19感染データの可視化 (2021)
  • 著者名/発表者名: 本田 健悟，斎藤 隆文，藤代 一成
  • 学会等名: Visual Computing 2021
• [学会発表] 種数0のサーフェスにおけるヤコビアンフリーな変形シミュレーション (2021)
  • 著者名/発表者名: 吉良 俊亮，中山 雅紀，藤代 一成
  • 学会等名: NICOGRAPH 2021
• [学会発表] 深層学習を用いた書道作品における書体変換ー篆書の文字認識と行書の作品生成ー (2021)
  • 著者名/発表者名: 二ノ宮 梢平，藤代 一成
  • 学会等名: NICOGRAPH 2021
• [学会発表] Making effective queries on time-varying multi-dimensional datasets (2021)
  • 著者名/発表者名: Issei Fujishiro
  • 学会等名: International Lecture Series, China Society of Image and Graphics, Technical Committee on Visualization and Visual Analytics
  • 国際学会 / 招待講演
• [学会発表] FORSETI: A visual analysis environment for authoring autopsy reports in extended legal medicine mark-up language (2021)
  • 著者名/発表者名: Issei Fujishiro, Baoqing Wang, Yume Asayama, Malik Olivier Boussejra, Hideki Shojo, Noboru Adachi
  • 学会等名: CG International 2021 Workshop in Memory of Kunii
  • 国際学会 / 招待講演
• [学会発表] FORSETI and THEMIS: Visual analysis environments for computational forensics (2021)
  • 著者名/発表者名: Baoqing Wang, Yume Asayama, Issei Fujishiro
  • 学会等名: Fourth China-Japan Joint Visualization Workshop
  • 国際学会 / 招待講演
• [学会発表] Visual exploration of time-varying multi-dimensional datasets (2021)
  • 著者名/発表者名: Issei Fujishiro
  • 学会等名: 2021 ZJU International Summer School on Visual Analytics
  • 国際学会 / 招待講演
• [学会発表] Experiencing GPU path tracing in online courses (2021)
  • 著者名/発表者名: Masaru Ohkawara, Hideo Saito, Issei Fujishiro
  • 学会等名: Eurographics 2021 Education paper track
  • 国際学会 / 招待講演
• [学会発表] TimeTubesX: A query-driven visual exploration of observable, photometric, and polarimetric behaviors of blazars (2021)
  • 著者名/発表者名: Naoko Sawada, Makoto Uemura, Johanna Beyer, Hanspeter Pfister, Issei Fujishiro
  • 学会等名: IEEE VIS 2021
  • 国際学会
• [学会発表] 二色塗分けスパークライン：COVID-19 感染データの可視化が読者に与える影響の調査 (2021)
  • 著者名/発表者名: 本田 健悟，斎藤 隆文，藤代 一成
  • 学会等名: 第49回可視化情報シンポジウム
• [学会発表] 歩行経路マップに基づく自然景観モデリング支援 (2021)
  • 著者名/発表者名: 西田 良輔，藤代 一成
  • 学会等名: 第7回ADADA Japan学術大会
• [学会発表] 深層学習を用いた書道作品における書体変換ー行書の作品生成ー (2021)
  • 著者名/発表者名: 二ノ宮 梢平，藤代 一成
  • 学会等名: 第7回ADADA Japan学術大会
• [学会発表] 縦編みレースの特徴抽出とラッピングを考慮した画像変換デザイン (2021)
  • 著者名/発表者名: 多田 一輝，藤代 一成
  • 学会等名: 第7回ADADA Japan学術大会
• [学会発表] LinDA：漫画向けの建造物の背景線画半自動生成 (2021)
  • 著者名/発表者名: 中山 雅紀，野村 芽久美, 藤代 一成
  • 学会等名: NICOGRAPH 2021
• [学会発表] 人の人による人のためのCG (2021)
  • 著者名/発表者名: 藤代 一成，西田 良輔，二ノ宮 梢平，星川 潤
  • 学会等名: 第22回慶應科学技術展
• [学会発表] 可視化の新パラダイム策定 (2021)
  • 著者名/発表者名: 藤代 一成
  • 学会等名: 日本学術会議公開シンポジウム「科学的知見の創出に 資する可視化(7)：人間を織り活かす総合知をもたらす「視考」」
  • 招待講演
• [学会発表] SLE既往・脾臓摘出後状態のウォーターハウス・フリデリクセン症候群の一例 (2021)
  • 著者名/発表者名: 堀田 哲也, 角田 恒雄, 猩々 英紀, 安達 登
  • 学会等名: 第43回日本法医学会学術中部地方会
• [学会発表] 法医学領域における自然人類学の貢献 (2021)
  • 著者名/発表者名: 安達 登, 坂上 和弘
  • 学会等名: 第75回日本人類学会大会・一般シンポジウム「基礎科学の社会貢献とは？：自然人類学における試み」
  • 招待講演
• [学会発表] 北海道有珠モシリ遺跡における再葬(複葬)墓の埋葬行為復元と人骨群の特徴 (2021)
  • 著者名/発表者名: 青野 友哉, 永谷 幸人, 西本 豊弘, 三谷 智広, 菅野 修広, 近藤 修, 澤田 純明, 篠田 謙一, 安達 登, 門叶 冬樹
  • 学会等名: 第75回日本人類学会大会
• [学会発表] 熊本大学に所蔵されている遺跡人骨のミトコンドリアDNA分析(予報) (2021)
  • 著者名/発表者名: 角田 恒雄, 神澤 秀明, 坂本 稔, 安達 登, 藤尾 慎一郎, 福田 孝一, 篠田 謙一
  • 学会等名: 第75回日本人類学会大会
• [図書] 法医学（改訂4版） (2022)
  • 著者名/発表者名: 福島 弘文，舟山 眞人，浅村 英樹，齋藤 一之，高田 綾，高橋 識志，村井 達哉，福永 龍繁，黒田 直人，上野 易弘，井上 博之，渡邉 和美，鈴木 廣一，太田 正穂，関口 和正，安達 登，宮坂 祥夫，水口 清，岩志 和一郎，吉田 謙一
  • 総ページ数: 325
  • 出版者: 南山堂
  • ISBN: 978-4-525-19073-6
• [備考] 慶應義塾大学理工学部情報工学科藤代研究室
  • URL: https://fj.ics.keio.ac.jp