Development and medical application of innovative high resolution autostereoscopic display

• Project/Area Number: 17H00750
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Human interface and interaction
• Research Institution: University of Tsukuba
• Principal Investigator: 掛谷 英紀 筑波大学, システム情報系, 准教授 (70334050)
• Co-Investigator(Kenkyū-buntansha): 森 健作 筑波大学, 医学医療系, 准教授 (80361343) ; 大城 幸雄 東京医科大学, 医学部, 助教 (10535008) [Withdrawn] ; 岡田 俊之 筑波大学, 医学医療系, 助教 (90733650)
• Project Period (FY): 2017-04-01 – 2021-03-31
• Project Status: Granted (Fiscal Year 2020)
• Budget Amount: ¥38,870,000 (Direct Cost: ¥29,900,000、Indirect Cost: ¥8,970,000); Fiscal Year 2020: ¥7,280,000 (Direct Cost: ¥5,600,000、Indirect Cost: ¥1,680,000); Fiscal Year 2019: ¥9,490,000 (Direct Cost: ¥7,300,000、Indirect Cost: ¥2,190,000); Fiscal Year 2018: ¥9,880,000 (Direct Cost: ¥7,600,000、Indirect Cost: ¥2,280,000); Fiscal Year 2017: ¥12,220,000 (Direct Cost: ¥9,400,000、Indirect Cost: ¥2,820,000)
• Keywords: バーチャルリアリティ / 3次元画像工学 / 医用画像工学

Outline of Annual Research Achievements

(1) 昨年度までに開発してきた時分割パララックスバリア方式の裸眼立体ディスプレイについて、バリアの傾きをアークタンジェント1/3から1/6に変えることにより、サブピクセル未満のバリア位置調整が可能になり、その結果クロストークのない視域が拡大された。さらに、時分割数を可変にすることより、クロストークのない視域を奥行き方向に大幅に拡大することに成功した。
(2) 昨年度開発したフルハイビジョン超多眼式ディスプレイについて、観察者の奥行き方向の動きに応じて時分割数を4時分割から6時分割までアダプティブに変化させることで、クロストークのない視域を奥行き方向に広げることに成功した。また、開発した立体ディスプレイに肝臓の血管モデルなどの医療画像提示を試み、その評価を行った。
(3) CT画像から各臓器の部位を自動的にセグメンテーションする技術として、ディープラーニングの一種である3D U-netに、臓器位置の確率アトラスを利用しながらファイン・チューニング転移学習を組み合わせる3D U-JAPA-Netという新たな手法を提案し、セグメンテーションの精度を向上した。提案した手法は、Core Rank Aで医療画像分野のトップコンファレンスであるMICCAIに採択され、臓器の自動セグメンテーションのコンペティションであるMulti-Atlas Labeling Beyond the Cranial Vault - Workshop and Challengeにおいて、13臓器のセグメンテーションの総合成績でグループ別世界第3位（2019年4月現在。アップロード当時は世界1位）となった。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

医療応用については若干遅れているが、立体ディスプレイのハードウェア開発は当初計画以上に進んでいる。

Strategy for Future Research Activity

今後は次の課題に取り組む。
(1) これまで開発したフルハイビジョン超多眼式ディスプレイについて、焦点調節の誘導が適切にできているかどうかをリフラクトメータで測定する。
(2) 複数人が同時に裸眼立体視が可能なシステムのプロトタイプを製作する。具体的には、時分割パララックスバリア方式に基づく2人用の装置と、時分割指向性バックライト方式に基づくより多人数用の装置について実装を試みる。
(3) ディープラーニングを用いた臓器、血管、病変等の自動抽出システムの開発を行う。前処理や評価関数に新たな工夫を導入することで、精度の向上を図る。
(4) 開発した裸眼立体ディスプレイの放射線科の医療現場への応用を試みる。具体的にはCT画像の表示のほか、カテーテル手術中に2次元画像をリアルタイムに3次元画像に変換するシステムをディープラーニングにより作成し、それを術者に立体ディスプレイで提示するシステムのプロトタイプ制作を試みる。

Research Products

• [Journal Article] Autostereoscopic Display Based on Time-Multiplexed Parallax Barrier with Adaptive Time-Division (2018)
  • Author(s): Kakeya, H., Hayashishita, A., and Ominami, M.
  • Journal Title: Journal of the Society for Information Display Volume: 26 Pages: 595-601
  • DOI: 10.1002/jsid.717
  • Peer Reviewed
• [Journal Article] [Papers] Time-Division Quadruplexing Parallax Barrier with Subpixel-Based Slit Control (2018)
  • Author(s): Kakeya, H., Okada, K., and Takahashi, H.
  • Journal Title: ITE Transactions on Media Technology and Applications Volume: 6 Issue: 3 Pages: 237-246
  • DOI: 10.3169/mta.6.237
  • NAID: 130007387399
  • ISSN: 2186-7364
  • Peer Reviewed / Open Access
• [Journal Article] [Invited Paper] A Liver Surgery Simulator Using Full HD Autostereoscopic Displays (2018)
  • Author(s): Kakeya Hideki、Yoshida Atsushi、Yang Bin、Oshiro Yukio、Ohkohchi Nobuhiro
  • Journal Title: ITE Transactions on Media Technology and Applications Volume: 6 Issue: 1 Pages: 11-17
  • DOI: 10.3169/mta.6.11
  • NAID: 130006301778
  • ISSN: 2186-7364
  • Peer Reviewed / Open Access
• [Journal Article] Gastroenterological, Hepatobiliary and Pancreatic Surgery (2017)
  • Author(s): 大城幸雄、大河内信弘
  • Journal Title: JJSCAS Volume: 19(3) Issue: 3 Pages: 157-161
  • DOI: 10.5759/jscas.19.157
  • NAID: 130006178070
  • ISSN: 1344-9486, 1884-5770
  • Peer Reviewed
• [Journal Article] 3D liver surgery simulation: computer-assisted surgical planning with 3D simulation software and 3D printing (2017)
  • Author(s): Oshiro Y, Ohkohchi N.
  • Journal Title: Tissue engineering part A Volume: 印刷中 Pages: 474-480
  • DOI: 10.1089/ten.tea.2016.0528
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] 肝臓―肝離断のプロセスをシミュレートするコンピュータ手術支援― (2017)
  • Author(s): 大城幸雄、岡田俊之、倉田昌直、大河内信弘
  • Journal Title: 日外会誌 Volume: 118(1) Pages: 46-50
  • Peer Reviewed
• [Journal Article] A novel three-dimensional print of liver vessels and tumors in hepatectomy (2017)
  • Author(s): Oshiro Y, Mitani J, Okada T, Ohkohchi N
  • Journal Title: Surgery Today Volume: 47 Pages: 521-524
  • DOI: 10.1007/s00595-016-1383-8
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] Structure-by-structure Recognition of Spinal Columns, Ribs, Intervertebral Disks and Vertebrae from Abdominal X-ray CT Images (2017)
  • Author(s): 保田竜也, 滝沢穂高, 奥村俊昭, 工藤博幸, 岡田俊之
  • Journal Title: JJSCAS Volume: 19(3) Issue: 3 Pages: 131-138
  • DOI: 10.5759/jscas.19.131
  • NAID: 130006178086
  • ISSN: 1344-9486, 1884-5770
  • Peer Reviewed
• [Journal Article] Interactive Segmentation of Pancreases in Abdominal Computed Tomography Images and Its Evaluation Based on Segmentation Accuracy and Interaction Costs (2017)
  • Author(s): Hotaka Takizawa, Takenobu Suzuki, Hiroyuki Kudo, and Toshiyuki Okada
  • Journal Title: BioMed Research International Volume: 2017 Article ID 5094592 Pages: 1-8
  • DOI: 10.1155/2017/5094592
  • NAID: 120006347307
  • Peer Reviewed / Open Access
• [Presentation] A Full-HD super-multiview display with a deep viewing zone (2019)
  • Author(s): Kakeya, H. and Watanabe, Y.
  • Organizer: IS&T Electronic Imaging
  • Int'l Joint Research
• [Presentation] Time-Division Multiplexing Parallax Barrier System for Interactive 3D Visualization (2018)
  • Author(s): Kakeya, H
  • Organizer: IDW
  • Int'l Joint Research / Invited
• [Presentation] Realization of Deep Viewing Zone with Adaptive Time-Division Multiplexing Parallax Barrier (2018)
  • Author(s): Hayashishita, A. and Kakeya, H.
  • Organizer: IDW
  • Int'l Joint Research
• [Presentation] 3D U-JAPA-Net: Mixture of Convolutional Networks for Abdominal Multi-Organ CT Segmentation (2018)
  • Author(s): Kakeya, H., Okada, T., and Oshiro, Y.
  • Organizer: MICCAI
  • Int'l Joint Research
• [Presentation] Evaluation on the Readability of Autostereoscopic Head-Up Displays (2018)
  • Author(s): Kakeya, H. and Yan, D.
  • Organizer: 3DSA
  • Int'l Joint Research
• [Presentation] A Full-HD Super-Multiview Display with Time-Division Multiplexing Parallax Barrier (2018)
  • Author(s): Kakeya, H.
  • Organizer: SID Display Week
  • Int'l Joint Research
• [Presentation] Time-Division Multiplexing Parallax Barrier with Sub-Subpixel Phase Shift (2018)
  • Author(s): Hayashishita, A. and Kakeya, H.
  • Organizer: SID Display Week
  • Int'l Joint Research
• [Presentation] 可変時分割パララックスバリアによるによる超多眼立体表示の視域拡大 (2018)
  • Author(s): 渡辺悠太, 掛谷英紀
  • Organizer: 映像情報メディア学会冬季大会
• [Presentation] 偏心レンズアレイを用いた時分割指向性バックライト式裸眼立体ディスプレイ (2018)
  • Author(s): ガリマガイ, 掛谷英紀
  • Organizer: 映像情報メディア学会冬季大会
• [Presentation] 肝臓手術ナビゲーションの最先端と新規開発 (2018)
  • Author(s): 大城幸雄、岡田俊之、下村治、高橋一広、倉田昌直、小田竜也、北原格、矢野博明、伊藤正博、坂本堪亮、大河内信弘
  • Organizer: つくば医工連携フォーラム2018
• [Presentation] Autostereoscopic Display Based on Time-Multiplexed Parallax Barrier with Adaptive Time-Division (2017)
  • Author(s): Kakeya, H., Hayashishita, A. and Ominami, M.
  • Organizer: International Display Workshop
  • Int'l Joint Research
• [Presentation] How to Hand-Make a High Quality Full-HD Autostereoscopic Display (2017)
  • Author(s): Kakeya, H.
  • Organizer: International Meeting on Information Display
  • Int'l Joint Research / Invited
• [Presentation] An Aerial Autostereoscopic Display Using Time-Division Multiplexing Parallax Barrier (2017)
  • Author(s): Takahashi, H. and Kakeya, H.
  • Organizer: SID Display Week
  • Int'l Joint Research
• [Presentation] 超多眼ハイビジョン裸眼立体表示の実現 (2017)
  • Author(s): 掛谷英紀
  • Organizer: 映像情報メディア学会冬季大会
• [Presentation] 4時分割斜めパララックスバリア式裸眼立体表示の視域拡大 (2017)
  • Author(s): 林下歩樹, 掛谷英紀
  • Organizer: 映像情報メディア学会冬季大会
• [Presentation] 時分割パララックスバリアによる３Ｄ動画のちらつき低減, (2017)
  • Author(s): 掛谷英紀
  • Organizer: 日本バーチャルリアリティ学会第22回大会
• [Presentation] 消化器外科におけるコンピュータ支援手術 (2017)
  • Author(s): 大城幸雄、岡田俊之、高橋一広、下村 治、明石義正、倉田昌直、小田竜也、大河内信弘
  • Organizer: 第30回日本内視鏡外科学会総会
• [Presentation] 肝切除におけるシミュレーションの効果とナビゲーションの未来 (2017)
  • Author(s): 大城幸雄、中山健、下村治、高橋一広、倉田昌直、小田竜也、大河内信弘
  • Organizer: 第79回日本臨床外科学会総会
• [Presentation] 腹部臓器多元計算解剖モデルによる知能化手術 (2017)
  • Author(s): 大城幸雄
  • Organizer: 第26回日本コンピュータ外科学会
• [Presentation] 計測用ガーゼを利用するリアルタイム手術ナビゲーション開発 (2017)
  • Author(s): 大城幸雄、岡田俊之、坂本堪亮、大河内信弘
  • Organizer: 第26回日本コンピュータ外科学会
• [Presentation] Preoperative simulation and navigation with computer aided surgery in open and laparoscopic liver resection (2017)
  • Author(s): Oshiro, Y., Nakayama, K., Takahashi, K., Kurata, M., Oda, T., Ohkochi, N.
  • Organizer: 第6回アジア太平洋肝胆膵学会・第29回日本肝胆膵外科学会学術集会
• [Presentation] われわれのコンピュータ外科手術支援の開発と運用と教育 (2017)
  • Author(s): 大城幸雄
  • Organizer: 第31回日本外傷学会総会・学術集会
• [Presentation] 当科におけるコンピュータ画像支援肝切除の取り組み (2017)
  • Author(s): 大城幸雄
  • Organizer: 第117回日本外科学会定期学術集会
• [Book] ＶＲ／ＡＲ技術の 開発動向と最新応用事例 (2018)
  • Author(s): 大林勇人, 掛谷英紀ほか計57名
  • Total Pages: 552
  • Publisher: 技術情報協会
  • ISBN: 9784861046940
• [Book] 車載用ディスプレイ・操作インターフェース (2017)
  • Author(s): 今泉智和, 桜井幸広, 岡林繁, 新澤滋, 木下順一, 高木康博, 掛谷英紀, 他
  • Total Pages: 250
  • Publisher: サイエンス＆テクノロジー株式会社
  • ISBN: 9784864281553
• [Remarks] 筑波大学視覚メディア研究室
  • URL: http://vmlab.kz.tsukuba.ac.jp
• [Remarks] 視覚メディア研究室
  • URL: http://vmlab.kz.tsukuba.ac.jp
• [Patent(Industrial Property Rights)] 画像表示装置、及び画像表示方法 (2018)
  • Inventor(s): 掛谷英紀
  • Industrial Property Rights Holder: 筑波大学
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2018-194917
  • Filing Date: 2018
• [Patent(Industrial Property Rights)] 画像処理装置、及びプログラム (2018)
  • Inventor(s): 掛谷英紀, 岡田俊之
  • Industrial Property Rights Holder: 筑波大学
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2018-169663
  • Filing Date: 2018
• [Patent(Industrial Property Rights)] 画像表示装置、画像表示方法、及び画像表示システム (2017)
  • Inventor(s): 掛谷英紀, 林下歩樹
  • Industrial Property Rights Holder: 掛谷英紀, 林下歩樹
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2017-233744
  • Filing Date: 2017