Development and medical application of innovative high resolution autostereoscopic display

• Project/Area Number: 17H00750
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Human interface and interaction
• Research Institution: University of Tsukuba
• Principal Investigator: 掛谷 英紀 筑波大学, システム情報系, 准教授 (70334050)
• Co-Investigator(Kenkyū-buntansha): 森 健作 筑波大学, 医学医療系, 准教授 (80361343) ; 大城 幸雄 東京医科大学, 医学部, 助教 (10535008) ; 岡田 俊之 筑波大学, 医学医療系, 助教 (90733650)
• Project Period (FY): 2017-04-01 – 2021-03-31
• Project Status: Completed (Fiscal Year 2020)
• Budget Amount: ¥38,870,000 (Direct Cost: ¥29,900,000、Indirect Cost: ¥8,970,000); Fiscal Year 2020: ¥7,280,000 (Direct Cost: ¥5,600,000、Indirect Cost: ¥1,680,000); Fiscal Year 2019: ¥9,490,000 (Direct Cost: ¥7,300,000、Indirect Cost: ¥2,190,000); Fiscal Year 2018: ¥9,880,000 (Direct Cost: ¥7,600,000、Indirect Cost: ¥2,280,000); Fiscal Year 2017: ¥12,220,000 (Direct Cost: ¥9,400,000、Indirect Cost: ¥2,820,000)
• Keywords: バーチャルリアリティ / 3次元画像工学 / 医用画像工学

Outline of Annual Research Achievements

(1) 時分割パララックスバリア式裸眼立体ディスプレイについて、病院などの医療現場でも導入しやすいような省電力化を実現した。具体的には、太めのLEDライトバーをレンチキュラレンズを用いて多数の細い線状のライト群の像に変換し、それを交互に発光させるのにあわせて表示画像の混ぜ方を変えることで、通常の2Dディスプレイ並みの光利用効率が達成された。
(2) 時分割パララックスバリア式裸眼立体表示において、観察者間の距離に応じて時分割数を変更することで、これまで同時に1人しか観察できなかった制約を緩和し、同時に2人が観察できる状態を実現した。また、観察者の頭の傾きに応じて、バリアの傾きを変化させることで、よりロバストな立体視の実現に成功した。
(3) 時分割指向性バックライト式裸眼立体表示において、多層PDLCアレイとと大型フレネルレンズを組み合わせることで、異なる奥行きにいる多人数の観察者に対して、同時に裸眼立体視を提供する方式を提案した。また、特殊なフレネルレンズアレイを用いることで、装置を薄型に保ちつつ一様な輝度と多人数が頭を傾けても同時に立体視が維持できる方式を提案した。
(4) 左右だけでなく上下にも視差を提示する色分割・時分割型超多眼立体表示方式を提案した。焦点調節の誘導が適切にできているかどうかをリフラクトメータで測定し、実際に被験者の焦点調節誘導ができていることを確認した。色消しレンズの導入や色分割の方法を工夫することで、より自然な超多眼立体像の提示を実現した。
(5) ディープラーニングにおいて、多時相ＣＴ画像を使ったＧＡＮによるデータ拡張を導入することで、ＣＴ画像から腎臓癌の自動抽出システムの精度向上を実現した。

Research Progress Status

令和2年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和2年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Autostereoscopic displays with time-multiplexed directional backlight using curved lens arrays (2021)
  • Author(s): Borjigin, G. and Kakeya, H.
  • Journal Title: ITE Trans. on MTA Volume: 9 Pages: 80-85
  • DOI: 10.1364/dh.2019.w2a.2
  • Peer Reviewed / Open Access
• [Journal Article] Time-division and color multiplexing light field display using LCD panels (2021)
  • Author(s): Watanabe, Y. and Kakeya, H.
  • Journal Title: Applied Optics Volume: 60 Pages: 1966-1972
  • DOI: 10.1364/ao.424038
  • Peer Reviewed / Open Access
• [Journal Article] [Paper] Autostereoscopy for Two Observers by Adaptive Fractional Time-Division Multiplexing Parallax Barrier (2021)
  • Author(s): Yang, B. and Kekaya, H.
  • Journal Title: ITE Transactions on Media Technology and Applications Volume: 9 Issue: 2 Pages: 136-142
  • DOI: 10.3169/mta.9.136
  • ISSN: 2186-7364
  • Peer Reviewed / Open Access
• [Journal Article] Autostereoscopic display for multi-viewers positioned at different distances using time-multiplexed layered directional backlight (2021)
  • Author(s): Borjigin, G. and Kakeya, H.
  • Journal Title: Applied Optics Volume: 60 Pages: 3353-3357
  • DOI: 10.1364/ao.423012
  • Peer Reviewed
• [Journal Article] [Paper] A Full-HD Super-Multiview Display Based on Adaptive Time-Division Multiplexing Parallax Barrier (2020)
  • Author(s): Watanabe, Y. and Kakeya, H.
  • Journal Title: ITE Transactions on Media Technology and Applications Volume: 8 Issue: 4 Pages: 230-237
  • DOI: 10.3169/mta.8.230
  • ISSN: 2186-7364
  • Peer Reviewed / Open Access
• [Journal Article] Autostereoscopic Display Based on Time-Multiplexed Parallax Barrier with Adaptive Time-Division (2018)
  • Author(s): Kakeya, H., Hayashishita, A., and Ominami, M.
  • Journal Title: Journal of the Society for Information Display Volume: 26 Pages: 595-601
  • DOI: 10.1002/jsid.717
  • Peer Reviewed
• [Journal Article] [Papers] Time-Division Quadruplexing Parallax Barrier with Subpixel-Based Slit Control (2018)
  • Author(s): Kakeya, H., Okada, K., and Takahashi, H.
  • Journal Title: ITE Transactions on Media Technology and Applications Volume: 6 Issue: 3 Pages: 237-246
  • DOI: 10.3169/mta.6.237
  • NAID: 130007387399
  • ISSN: 2186-7364
  • Peer Reviewed / Open Access
• [Journal Article] [Invited Paper] A Liver Surgery Simulator Using Full HD Autostereoscopic Displays (2018)
  • Author(s): Kakeya Hideki、Yoshida Atsushi、Yang Bin、Oshiro Yukio、Ohkohchi Nobuhiro
  • Journal Title: ITE Transactions on Media Technology and Applications Volume: 6 Issue: 1 Pages: 11-17
  • DOI: 10.3169/mta.6.11
  • NAID: 130006301778
  • ISSN: 2186-7364
  • Peer Reviewed / Open Access
• [Journal Article] Gastroenterological, Hepatobiliary and Pancreatic Surgery (2017)
  • Author(s): 大城幸雄、大河内信弘
  • Journal Title: JJSCAS Volume: 19(3) Issue: 3 Pages: 157-161
  • DOI: 10.5759/jscas.19.157
  • NAID: 130006178070
  • ISSN: 1344-9486, 1884-5770
  • Peer Reviewed
• [Journal Article] 3D liver surgery simulation: computer-assisted surgical planning with 3D simulation software and 3D printing (2017)
  • Author(s): Oshiro Y, Ohkohchi N.
  • Journal Title: Tissue engineering part A Volume: 印刷中 Pages: 474-480
  • DOI: 10.1089/ten.tea.2016.0528
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] 肝臓―肝離断のプロセスをシミュレートするコンピュータ手術支援― (2017)
  • Author(s): 大城幸雄、岡田俊之、倉田昌直、大河内信弘
  • Journal Title: 日外会誌 Volume: 118(1) Pages: 46-50
  • Peer Reviewed
• [Journal Article] A novel three-dimensional print of liver vessels and tumors in hepatectomy (2017)
  • Author(s): Oshiro Y, Mitani J, Okada T, Ohkohchi N
  • Journal Title: Surgery Today Volume: 47 Pages: 521-524
  • DOI: 10.1007/s00595-016-1383-8
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] Structure-by-structure Recognition of Spinal Columns, Ribs, Intervertebral Disks and Vertebrae from Abdominal X-ray CT Images (2017)
  • Author(s): 保田竜也, 滝沢穂高, 奥村俊昭, 工藤博幸, 岡田俊之
  • Journal Title: JJSCAS Volume: 19(3) Issue: 3 Pages: 131-138
  • DOI: 10.5759/jscas.19.131
  • NAID: 130006178086
  • ISSN: 1344-9486, 1884-5770
  • Peer Reviewed
• [Journal Article] Interactive Segmentation of Pancreases in Abdominal Computed Tomography Images and Its Evaluation Based on Segmentation Accuracy and Interaction Costs (2017)
  • Author(s): Hotaka Takizawa, Takenobu Suzuki, Hiroyuki Kudo, and Toshiyuki Okada
  • Journal Title: BioMed Research International Volume: 2017 Article ID 5094592 Pages: 1-8
  • DOI: 10.1155/2017/5094592
  • NAID: 120006347307
  • Peer Reviewed / Open Access
• [Presentation] 色時分割超多眼表示におけるちらつきの抑制 (2021)
  • Author(s): 掛谷英紀, 渡辺悠太
  • Organizer: 映像情報メディア学会立体映像技術研究会
• [Presentation] An autostereoscopic display with a deep viewing zone using time-multiplexed directional backlight (2020)
  • Author(s): Borjigin, G. and Kakeya, H.
  • Organizer: SID Display Week 2020
  • Int'l Joint Research
• [Presentation] A super-multiview display with horizontal and vertical parallax by time division and color multiplexing (2020)
  • Author(s): Watanabe, Y. and Kakeya, H.
  • Organizer: SID Display Week 2020
  • Int'l Joint Research
• [Presentation] Realization of time-division multiplexing parallax barrier using a lenticular lens, (2020)
  • Author(s): Mitomi, H. and Kakeya, H.
  • Organizer: International Display Workshop 2020
  • Int'l Joint Research
• [Presentation] An autostereoscopic display with time-multiplexed directional backlight using a novel linear Fresnel lens array (2020)
  • Author(s): Borjigin, G. and Kakeya, H.
  • Organizer: International Display Workshop 2020
  • Int'l Joint Research
• [Presentation] A super-multiview display by time division and color multiplexing with achromatic lenses (2020)
  • Author(s): Watanabe, Y. and Kakeya, H.
  • Organizer: International Display Workshop 2020
  • Int'l Joint Research
• [Presentation] レンチキュラレンズを用いた時分割パララックスバリア方式での裸眼立体表示 (2020)
  • Author(s): 三富隼斗, 掛谷英紀
  • Organizer: 映像情報メディア学会立体映像技術研究会
• [Presentation] 色消しレンズを用いた時分割と色多重化による超多眼立体表示ディスプレイ (2020)
  • Author(s): 渡辺悠太, 掛谷英紀
  • Organizer: 映像情報メディア学会立体映像技術研究会
• [Presentation] 腎臓の構造を反映したパッチ作成とデータ拡張による腎臓がんの自動識別 (2020)
  • Author(s): 樋口心, 石黒聡尚, 森健作, 古城公佑, 小島崇宏, 掛谷英紀
  • Organizer: 第29回日本コンピュータ外科学会
• [Presentation] バリアの傾斜角を可変にした時分割パララックスバリア式裸眼立体表示 (2020)
  • Author(s): 竹内元気, 掛谷英紀
  • Organizer: 映像情報メディア学会冬季大会
• [Presentation] リカレントニューラルネットワークを用いた目の三次元軌道予測 (2020)
  • Author(s): 三富隼斗, 掛谷英紀
  • Organizer: 映像情報メディア学会冬季大会
• [Presentation] Application of a high resolution autostereoscopic display for medical purposes (2020)
  • Author(s): Higuchi, K, Hayashishita, A., and Kakeya, H.
  • Organizer: IS&T Electronic Imaging
  • Int'l Joint Research
• [Presentation] An Adaptive Time-Division Multiplexing Parallax Barrier Allowing Multiple Observers (2019)
  • Author(s): Yang, B. and Kakeya, H.
  • Organizer: International Display Workshop
  • Int'l Joint Research
• [Presentation] Accommodation Response to a Super-Multiview Display Based on Time-Division Multiplexing Parallax Barrier (2019)
  • Author(s): Watanabe, Y. and Kakeya, H.
  • Organizer: International Display Workshop
  • Int'l Joint Research
• [Presentation] An Autostereoscopic Display with Time-Multiplexed Directional Backlight Using a Curved Lens Array (2019)
  • Author(s): Borjigin, G. and Kakeya, H.
  • Organizer: International Display Workshop
  • Int'l Joint Research
• [Presentation] A 4K Autostereoscopic Display Based on Time-Division Multiplexing Parallax Barrier (2019)
  • Author(s): Kakeya, H.
  • Organizer: International Meeting on Information Display
  • Int'l Joint Research / Invited
• [Presentation] An Autostereoscopic Display with Time-Multiplexed Directional Backlight Using a Decentered Lens Array (2019)
  • Author(s): Borjigin, G. and Kakeya, H.
  • Organizer: OSA Digital Holography and 3D Imaging
  • Int'l Joint Research
• [Presentation] Time-Multiplexing Parallax Barrier with Fractional Time-Division (2019)
  • Author(s): Watanabe, Y, Hayashishita, A., and Kakeya, H.
  • Organizer: SID DIsplay Week
  • Int'l Joint Research
• [Presentation] A Full-HD super-multiview display with a deep viewing zone (2019)
  • Author(s): Kakeya, H. and Watanabe, Y.
  • Organizer: IS&T Electronic Imaging
  • Int'l Joint Research
• [Presentation] Time-Division Multiplexing Parallax Barrier System for Interactive 3D Visualization (2018)
  • Author(s): Kakeya, H
  • Organizer: IDW
  • Int'l Joint Research / Invited
• [Presentation] Realization of Deep Viewing Zone with Adaptive Time-Division Multiplexing Parallax Barrier (2018)
  • Author(s): Hayashishita, A. and Kakeya, H.
  • Organizer: IDW
  • Int'l Joint Research
• [Presentation] 3D U-JAPA-Net: Mixture of Convolutional Networks for Abdominal Multi-Organ CT Segmentation (2018)
  • Author(s): Kakeya, H., Okada, T., and Oshiro, Y.
  • Organizer: MICCAI
  • Int'l Joint Research
• [Presentation] Evaluation on the Readability of Autostereoscopic Head-Up Displays (2018)
  • Author(s): Kakeya, H. and Yan, D.
  • Organizer: 3DSA
  • Int'l Joint Research
• [Presentation] A Full-HD Super-Multiview Display with Time-Division Multiplexing Parallax Barrier (2018)
  • Author(s): Kakeya, H.
  • Organizer: SID Display Week
  • Int'l Joint Research
• [Presentation] Time-Division Multiplexing Parallax Barrier with Sub-Subpixel Phase Shift (2018)
  • Author(s): Hayashishita, A. and Kakeya, H.
  • Organizer: SID Display Week
  • Int'l Joint Research
• [Presentation] 可変時分割パララックスバリアによるによる超多眼立体表示の視域拡大 (2018)
  • Author(s): 渡辺悠太, 掛谷英紀
  • Organizer: 映像情報メディア学会冬季大会
• [Presentation] 偏心レンズアレイを用いた時分割指向性バックライト式裸眼立体ディスプレイ (2018)
  • Author(s): ガリマガイ, 掛谷英紀
  • Organizer: 映像情報メディア学会冬季大会
• [Presentation] 肝臓手術ナビゲーションの最先端と新規開発 (2018)
  • Author(s): 大城幸雄、岡田俊之、下村治、高橋一広、倉田昌直、小田竜也、北原格、矢野博明、伊藤正博、坂本堪亮、大河内信弘
  • Organizer: つくば医工連携フォーラム2018
• [Presentation] Autostereoscopic Display Based on Time-Multiplexed Parallax Barrier with Adaptive Time-Division (2017)
  • Author(s): Kakeya, H., Hayashishita, A. and Ominami, M.
  • Organizer: International Display Workshop
  • Int'l Joint Research
• [Presentation] How to Hand-Make a High Quality Full-HD Autostereoscopic Display (2017)
  • Author(s): Kakeya, H.
  • Organizer: International Meeting on Information Display
  • Int'l Joint Research / Invited
• [Presentation] An Aerial Autostereoscopic Display Using Time-Division Multiplexing Parallax Barrier (2017)
  • Author(s): Takahashi, H. and Kakeya, H.
  • Organizer: SID Display Week
  • Int'l Joint Research
• [Presentation] 超多眼ハイビジョン裸眼立体表示の実現 (2017)
  • Author(s): 掛谷英紀
  • Organizer: 映像情報メディア学会冬季大会
• [Presentation] 4時分割斜めパララックスバリア式裸眼立体表示の視域拡大 (2017)
  • Author(s): 林下歩樹, 掛谷英紀
  • Organizer: 映像情報メディア学会冬季大会
• [Presentation] 時分割パララックスバリアによる３Ｄ動画のちらつき低減, (2017)
  • Author(s): 掛谷英紀
  • Organizer: 日本バーチャルリアリティ学会第22回大会
• [Presentation] 消化器外科におけるコンピュータ支援手術 (2017)
  • Author(s): 大城幸雄、岡田俊之、高橋一広、下村 治、明石義正、倉田昌直、小田竜也、大河内信弘
  • Organizer: 第30回日本内視鏡外科学会総会
• [Presentation] 肝切除におけるシミュレーションの効果とナビゲーションの未来 (2017)
  • Author(s): 大城幸雄、中山健、下村治、高橋一広、倉田昌直、小田竜也、大河内信弘
  • Organizer: 第79回日本臨床外科学会総会
• [Presentation] 腹部臓器多元計算解剖モデルによる知能化手術 (2017)
  • Author(s): 大城幸雄
  • Organizer: 第26回日本コンピュータ外科学会
• [Presentation] 計測用ガーゼを利用するリアルタイム手術ナビゲーション開発 (2017)
  • Author(s): 大城幸雄、岡田俊之、坂本堪亮、大河内信弘
  • Organizer: 第26回日本コンピュータ外科学会
• [Presentation] Preoperative simulation and navigation with computer aided surgery in open and laparoscopic liver resection (2017)
  • Author(s): Oshiro, Y., Nakayama, K., Takahashi, K., Kurata, M., Oda, T., Ohkochi, N.
  • Organizer: 第6回アジア太平洋肝胆膵学会・第29回日本肝胆膵外科学会学術集会
• [Presentation] われわれのコンピュータ外科手術支援の開発と運用と教育 (2017)
  • Author(s): 大城幸雄
  • Organizer: 第31回日本外傷学会総会・学術集会
• [Presentation] 当科におけるコンピュータ画像支援肝切除の取り組み (2017)
  • Author(s): 大城幸雄
  • Organizer: 第117回日本外科学会定期学術集会
• [Book] ＶＲ／ＡＲ技術の 開発動向と最新応用事例 (2018)
  • Author(s): 大林勇人, 掛谷英紀ほか計57名
  • Total Pages: 552
  • Publisher: 技術情報協会
  • ISBN: 9784861046940
• [Book] 車載用ディスプレイ・操作インターフェース (2017)
  • Author(s): 今泉智和, 桜井幸広, 岡林繁, 新澤滋, 木下順一, 高木康博, 掛谷英紀, 他
  • Total Pages: 250
  • Publisher: サイエンス＆テクノロジー株式会社
  • ISBN: 9784864281553
• [Remarks] 筑波大学視覚メディア研究室
  • URL: http://vmlab.kz.tsukuba.ac.jp
• [Remarks] 視覚メディア研究室
  • URL: http://vmlab.kz.tsukuba.ac.jp
• [Patent(Industrial Property Rights)] 画像表示装置、及び画像表示方法 (2020)
  • Inventor(s): 掛谷英紀, 渡辺悠太
  • Industrial Property Rights Holder: 筑波大学
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2020-200263
  • Filing Date: 2020
• [Patent(Industrial Property Rights)] 裸眼立体画像表示装置、及び裸眼立体画像表示方法 (2020)
  • Inventor(s): 掛谷英紀
  • Industrial Property Rights Holder: 筑波大学
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2020-202675
  • Filing Date: 2020
• [Patent(Industrial Property Rights)] 画像表示装置、及び画像表示方法 (2020)
  • Inventor(s): 掛谷英紀, 三富隼斗
  • Industrial Property Rights Holder: 筑波大学
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2020-175498
  • Filing Date: 2020
• [Patent(Industrial Property Rights)] 画像表示装置、及び画像表示方法 (2018)
  • Inventor(s): 掛谷英紀
  • Industrial Property Rights Holder: 筑波大学
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2018-194917
  • Filing Date: 2018
• [Patent(Industrial Property Rights)] 画像処理装置、及びプログラム (2018)
  • Inventor(s): 掛谷英紀, 岡田俊之
  • Industrial Property Rights Holder: 筑波大学
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2018-169663
  • Filing Date: 2018
• [Patent(Industrial Property Rights)] 画像表示装置、画像表示方法、及び画像表示システム (2017)
  • Inventor(s): 掛谷英紀, 林下歩樹
  • Industrial Property Rights Holder: 掛谷英紀, 林下歩樹
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2017-233744
  • Filing Date: 2017