• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development and medical application of innovative high resolution autostereoscopic display

Research Project

Project/Area Number 17H00750
Research Category

Grant-in-Aid for Scientific Research (A)

Allocation TypeSingle-year Grants
Section一般
Research Field Human interface and interaction
Research InstitutionUniversity of Tsukuba

Principal Investigator

掛谷 英紀  筑波大学, システム情報系, 准教授 (70334050)

Co-Investigator(Kenkyū-buntansha) 森 健作  筑波大学, 医学医療系, 准教授 (80361343)
大城 幸雄  東京医科大学, 医学部, 助教 (10535008) [Withdrawn]
岡田 俊之  筑波大学, 医学医療系, 助教 (90733650)
Project Period (FY) 2017-04-01 – 2021-03-31
Project Status Granted (Fiscal Year 2020)
Budget Amount *help
¥38,870,000 (Direct Cost: ¥29,900,000、Indirect Cost: ¥8,970,000)
Fiscal Year 2020: ¥7,280,000 (Direct Cost: ¥5,600,000、Indirect Cost: ¥1,680,000)
Fiscal Year 2019: ¥9,490,000 (Direct Cost: ¥7,300,000、Indirect Cost: ¥2,190,000)
Fiscal Year 2018: ¥9,880,000 (Direct Cost: ¥7,600,000、Indirect Cost: ¥2,280,000)
Fiscal Year 2017: ¥12,220,000 (Direct Cost: ¥9,400,000、Indirect Cost: ¥2,820,000)
Keywordsバーチャルリアリティ / 3次元画像工学 / 医用画像工学
Outline of Annual Research Achievements

(1) 昨年度までに開発してきた時分割パララックスバリア方式の裸眼立体ディスプレイについて、バリアの傾きをアークタンジェント1/3から1/6に変えることにより、サブピクセル未満のバリア位置調整が可能になり、その結果クロストークのない視域が拡大された。さらに、時分割数を可変にすることより、クロストークのない視域を奥行き方向に大幅に拡大することに成功した。
(2) 昨年度開発したフルハイビジョン超多眼式ディスプレイについて、観察者の奥行き方向の動きに応じて時分割数を4時分割から6時分割までアダプティブに変化させることで、クロストークのない視域を奥行き方向に広げることに成功した。また、開発した立体ディスプレイに肝臓の血管モデルなどの医療画像提示を試み、その評価を行った。
(3) CT画像から各臓器の部位を自動的にセグメンテーションする技術として、ディープラーニングの一種である3D U-netに、臓器位置の確率アトラスを利用しながらファイン・チューニング転移学習を組み合わせる3D U-JAPA-Netという新たな手法を提案し、セグメンテーションの精度を向上した。提案した手法は、Core Rank Aで医療画像分野のトップコンファレンスであるMICCAIに採択され、臓器の自動セグメンテーションのコンペティションであるMulti-Atlas Labeling Beyond the Cranial Vault - Workshop and Challengeにおいて、13臓器のセグメンテーションの総合成績でグループ別世界第3位(2019年4月現在。アップロード当時は世界1位)となった。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

医療応用については若干遅れているが、立体ディスプレイのハードウェア開発は当初計画以上に進んでいる。

Strategy for Future Research Activity

今後は次の課題に取り組む。
(1) これまで開発したフルハイビジョン超多眼式ディスプレイについて、焦点調節の誘導が適切にできているかどうかをリフラクトメータで測定する。
(2) 複数人が同時に裸眼立体視が可能なシステムのプロトタイプを製作する。具体的には、時分割パララックスバリア方式に基づく2人用の装置と、時分割指向性バックライト方式に基づくより多人数用の装置について実装を試みる。
(3) ディープラーニングを用いた臓器、血管、病変等の自動抽出システムの開発を行う。前処理や評価関数に新たな工夫を導入することで、精度の向上を図る。
(4) 開発した裸眼立体ディスプレイの放射線科の医療現場への応用を試みる。具体的にはCT画像の表示のほか、カテーテル手術中に2次元画像をリアルタイムに3次元画像に変換するシステムをディープラーニングにより作成し、それを術者に立体ディスプレイで提示するシステムのプロトタイプ制作を試みる。

Report

(2 results)
  • 2018 Annual Research Report
  • 2017 Annual Research Report

Research Products

(39 results)

All 2019 2018 2017 Other

All Journal Article Presentation Book Remarks Patent(Industrial Property Rights)

  • [Journal Article] Autostereoscopic Display Based on Time-Multiplexed Parallax Barrier with Adaptive Time-Division2018

    • Author(s)
      Kakeya, H., Hayashishita, A., and Ominami, M.
    • Journal Title

      Journal of the Society for Information Display

      Volume: 26 Pages: 595-601

    • DOI

      10.1002/jsid.717

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Journal Article] [Papers] Time-Division Quadruplexing Parallax Barrier with Subpixel-Based Slit Control2018

    • Author(s)
      Kakeya, H., Okada, K., and Takahashi, H.
    • Journal Title

      ITE Transactions on Media Technology and Applications

      Volume: 6 Issue: 3 Pages: 237-246

    • DOI

      10.3169/mta.6.237

    • NAID

      130007387399

    • ISSN
      2186-7364
    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] [Invited Paper] A Liver Surgery Simulator Using Full HD Autostereoscopic Displays2018

    • Author(s)
      Kakeya Hideki、Yoshida Atsushi、Yang Bin、Oshiro Yukio、Ohkohchi Nobuhiro
    • Journal Title

      ITE Transactions on Media Technology and Applications

      Volume: 6 Issue: 1 Pages: 11-17

    • DOI

      10.3169/mta.6.11

    • NAID

      130006301778

    • ISSN
      2186-7364
    • Related Report
      2017 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Gastroenterological, Hepatobiliary and Pancreatic Surgery2017

    • Author(s)
      大城幸雄、大河内信弘
    • Journal Title

      JJSCAS

      Volume: 19(3) Issue: 3 Pages: 157-161

    • DOI

      10.5759/jscas.19.157

    • NAID

      130006178070

    • ISSN
      1344-9486, 1884-5770
    • Related Report
      2017 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 3D liver surgery simulation: computer-assisted surgical planning with 3D simulation software and 3D printing2017

    • Author(s)
      Oshiro Y, Ohkohchi N.
    • Journal Title

      Tissue engineering part A

      Volume: 印刷中 Pages: 474-480

    • DOI

      10.1089/ten.tea.2016.0528

    • Related Report
      2017 Annual Research Report
    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] 肝臓―肝離断のプロセスをシミュレートするコンピュータ手術支援―2017

    • Author(s)
      大城幸雄、岡田俊之、倉田昌直、大河内信弘
    • Journal Title

      日外会誌

      Volume: 118(1) Pages: 46-50

    • Related Report
      2017 Annual Research Report
    • Peer Reviewed
  • [Journal Article] A novel three-dimensional print of liver vessels and tumors in hepatectomy2017

    • Author(s)
      Oshiro Y, Mitani J, Okada T, Ohkohchi N
    • Journal Title

      Surgery Today

      Volume: 47 Pages: 521-524

    • DOI

      10.1007/s00595-016-1383-8

    • Related Report
      2017 Annual Research Report
    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Structure-by-structure Recognition of Spinal Columns, Ribs, Intervertebral Disks and Vertebrae from Abdominal X-ray CT Images2017

    • Author(s)
      保田竜也, 滝沢穂高, 奥村俊昭, 工藤博幸, 岡田俊之
    • Journal Title

      JJSCAS

      Volume: 19(3) Issue: 3 Pages: 131-138

    • DOI

      10.5759/jscas.19.131

    • NAID

      130006178086

    • ISSN
      1344-9486, 1884-5770
    • Related Report
      2017 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Interactive Segmentation of Pancreases in Abdominal Computed Tomography Images and Its Evaluation Based on Segmentation Accuracy and Interaction Costs2017

    • Author(s)
      Hotaka Takizawa, Takenobu Suzuki, Hiroyuki Kudo, and Toshiyuki Okada
    • Journal Title

      BioMed Research International

      Volume: 2017 Article ID 5094592 Pages: 1-8

    • DOI

      10.1155/2017/5094592

    • NAID

      120006347307

    • Related Report
      2017 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] A Full-HD super-multiview display with a deep viewing zone2019

    • Author(s)
      Kakeya, H. and Watanabe, Y.
    • Organizer
      IS&T Electronic Imaging
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Time-Division Multiplexing Parallax Barrier System for Interactive 3D Visualization2018

    • Author(s)
      Kakeya, H
    • Organizer
      IDW
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] Realization of Deep Viewing Zone with Adaptive Time-Division Multiplexing Parallax Barrier2018

    • Author(s)
      Hayashishita, A. and Kakeya, H.
    • Organizer
      IDW
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 3D U-JAPA-Net: Mixture of Convolutional Networks for Abdominal Multi-Organ CT Segmentation2018

    • Author(s)
      Kakeya, H., Okada, T., and Oshiro, Y.
    • Organizer
      MICCAI
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Evaluation on the Readability of Autostereoscopic Head-Up Displays2018

    • Author(s)
      Kakeya, H. and Yan, D.
    • Organizer
      3DSA
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] A Full-HD Super-Multiview Display with Time-Division Multiplexing Parallax Barrier2018

    • Author(s)
      Kakeya, H.
    • Organizer
      SID Display Week
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Time-Division Multiplexing Parallax Barrier with Sub-Subpixel Phase Shift2018

    • Author(s)
      Hayashishita, A. and Kakeya, H.
    • Organizer
      SID Display Week
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 可変時分割パララックスバリアによるによる超多眼立体表示の視域拡大2018

    • Author(s)
      渡辺悠太, 掛谷英紀
    • Organizer
      映像情報メディア学会冬季大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 偏心レンズアレイを用いた時分割指向性バックライト式裸眼立体ディスプレイ2018

    • Author(s)
      ガリマガイ, 掛谷英紀
    • Organizer
      映像情報メディア学会冬季大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 肝臓手術ナビゲーションの最先端と新規開発2018

    • Author(s)
      大城幸雄、岡田俊之、下村治、高橋一広、倉田昌直、小田竜也、北原格、矢野博明、伊藤正博、坂本堪亮、大河内信弘
    • Organizer
      つくば医工連携フォーラム2018
    • Related Report
      2017 Annual Research Report
  • [Presentation] Autostereoscopic Display Based on Time-Multiplexed Parallax Barrier with Adaptive Time-Division2017

    • Author(s)
      Kakeya, H., Hayashishita, A. and Ominami, M.
    • Organizer
      International Display Workshop
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] How to Hand-Make a High Quality Full-HD Autostereoscopic Display2017

    • Author(s)
      Kakeya, H.
    • Organizer
      International Meeting on Information Display
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] An Aerial Autostereoscopic Display Using Time-Division Multiplexing Parallax Barrier2017

    • Author(s)
      Takahashi, H. and Kakeya, H.
    • Organizer
      SID Display Week
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 超多眼ハイビジョン裸眼立体表示の実現2017

    • Author(s)
      掛谷英紀
    • Organizer
      映像情報メディア学会冬季大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 4時分割斜めパララックスバリア式裸眼立体表示の視域拡大2017

    • Author(s)
      林下歩樹, 掛谷英紀
    • Organizer
      映像情報メディア学会冬季大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 時分割パララックスバリアによる3D動画のちらつき低減,2017

    • Author(s)
      掛谷英紀
    • Organizer
      日本バーチャルリアリティ学会第22回大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 消化器外科におけるコンピュータ支援手術2017

    • Author(s)
      大城幸雄、岡田俊之、高橋一広、下村 治、明石義正、倉田昌直、小田竜也、大河内信弘
    • Organizer
      第30回日本内視鏡外科学会総会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 肝切除におけるシミュレーションの効果とナビゲーションの未来2017

    • Author(s)
      大城幸雄、中山健、下村治、高橋一広、倉田昌直、小田竜也、大河内信弘
    • Organizer
      第79回日本臨床外科学会総会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 腹部臓器多元計算解剖モデルによる知能化手術2017

    • Author(s)
      大城幸雄
    • Organizer
      第26回日本コンピュータ外科学会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 計測用ガーゼを利用するリアルタイム手術ナビゲーション開発2017

    • Author(s)
      大城幸雄、岡田俊之、坂本堪亮、大河内信弘
    • Organizer
      第26回日本コンピュータ外科学会
    • Related Report
      2017 Annual Research Report
  • [Presentation] Preoperative simulation and navigation with computer aided surgery in open and laparoscopic liver resection2017

    • Author(s)
      Oshiro, Y., Nakayama, K., Takahashi, K., Kurata, M., Oda, T., Ohkochi, N.
    • Organizer
      第6回アジア太平洋肝胆膵学会・第29回日本肝胆膵外科学会学術集会
    • Related Report
      2017 Annual Research Report
  • [Presentation] われわれのコンピュータ外科手術支援の開発と運用と教育2017

    • Author(s)
      大城幸雄
    • Organizer
      第31回日本外傷学会総会・学術集会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 当科におけるコンピュータ画像支援肝切除の取り組み2017

    • Author(s)
      大城幸雄
    • Organizer
      第117回日本外科学会定期学術集会
    • Related Report
      2017 Annual Research Report
  • [Book] VR/AR技術の 開発動向と最新応用事例2018

    • Author(s)
      大林勇人, 掛谷英紀ほか計57名
    • Total Pages
      552
    • Publisher
      技術情報協会
    • ISBN
      9784861046940
    • Related Report
      2017 Annual Research Report
  • [Book] 車載用ディスプレイ・操作インターフェース2017

    • Author(s)
      今泉智和, 桜井幸広, 岡林繁, 新澤滋, 木下順一, 高木康博, 掛谷英紀, 他
    • Total Pages
      250
    • Publisher
      サイエンス&テクノロジー株式会社
    • ISBN
      9784864281553
    • Related Report
      2017 Annual Research Report
  • [Remarks] 筑波大学視覚メディア研究室

    • URL

      http://vmlab.kz.tsukuba.ac.jp

    • Related Report
      2018 Annual Research Report
  • [Remarks] 視覚メディア研究室

    • URL

      http://vmlab.kz.tsukuba.ac.jp

    • Related Report
      2017 Annual Research Report
  • [Patent(Industrial Property Rights)] 画像表示装置、及び画像表示方法2018

    • Inventor(s)
      掛谷英紀
    • Industrial Property Rights Holder
      筑波大学
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2018-194917
    • Filing Date
      2018
    • Related Report
      2018 Annual Research Report
  • [Patent(Industrial Property Rights)] 画像処理装置、及びプログラム2018

    • Inventor(s)
      掛谷英紀, 岡田俊之
    • Industrial Property Rights Holder
      筑波大学
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2018-169663
    • Filing Date
      2018
    • Related Report
      2018 Annual Research Report
  • [Patent(Industrial Property Rights)] 画像表示装置、画像表示方法、及び画像表示システム2017

    • Inventor(s)
      掛谷英紀, 林下歩樹
    • Industrial Property Rights Holder
      掛谷英紀, 林下歩樹
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2017-233744
    • Filing Date
      2017
    • Related Report
      2017 Annual Research Report

URL: 

Published: 2017-04-28   Modified: 2020-08-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi