• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of Intelligent Eyeglass System for Enhancing Microscopic Vision

Research Project

Project/Area Number 19K22873
Research Category

Grant-in-Aid for Challenging Research (Exploratory)

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 61:Human informatics and related fields
Research InstitutionThe University of Tokyo

Principal Investigator

Shunsuke Yoshimoto  東京大学, 大学院新領域創成科学研究科, 講師 (00646755)

Co-Investigator(Kenkyū-buntansha) 池田 聖  大阪大学, 基礎工学研究科, 准教授 (40432596)
Project Period (FY) 2019-06-28 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2021: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2020: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2019: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Keywordsロボットビジョン / 視覚拡張 / ユーザインターフェース / 誘電エラストマアクチュエータ / ユーザインタフェース
Outline of Research at the Start

ユーザの眼球運動と注視対象に応じて制御可能なロボットビジョンシステムとその映像提示インタフェースを構築し,ミクロな観察を支援する視覚拡張技術を確立する.特に,両眼の動きから注視物体を予測し,視認性が高くなるように映像取得・処理を施した一人称立体映像を実時間で提示することで,人の顕微視能を拡張する知能眼鏡システムを実現する.そのために,(1)注視対象を実時間で検出するための両眼運動の予測センシング,(2)同調性の高い視覚システムを実現するためのロボットの眼球運動・焦点の制御,(3)人の顕微視能を拡張するための映像撮影・提示による視認性最適化に取り組み,知的な視覚拡張を実現するための技術を培う.

Outline of Final Research Achievements

The purpose of this study is to establish a visual augmentation technique to support microscopic observation. First, we proposed and confirmed the effectiveness of a method for estimating the three-dimensional gazing position using eye tracking information obtained from an eye tracker on an Head Mounted Display presenting a stereo camera image. Then, we proposed a balloon type dielectric elastomer actuator (DEA) equipped with four electrodes, and constructed an optical system that can drive the three-dimensional position of a lens. We also demonstrated that the system can be used for tracking and focusing microscale objects. Finaly, we found that video presentation with dynamic focus control based on the depth of the gazing position may have a higher recognition rate of depth than static video presentation.

Academic Significance and Societal Importance of the Research Achievements

視線計測に基づいてリアルタイムにステレオカメラの映像の焦点を変更し,HMDを用いて提示する新しい視覚拡張を実現した点に意義がある.さらに,DEAを用いたレンズ駆動により,肉眼では直接捉えることのできないマイクロスケールの対象物について,インタラクティブな可視化ができた.これらを発展させることで,従来の顕微鏡による観察を効率化したり,新しいVirtual Reality体験を生み出すことができると考えられる.

Report

(4 results)
  • 2021 Annual Research Report   Final Research Report ( PDF )
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (6 results)

All 2021 2020 2019 Other

All Presentation (5 results) Remarks (1 results)

  • [Presentation] 光軸制御が可能なバルーンDEA レンズの 時空間特性の評価2021

    • Author(s)
      三林弘季,吉元俊輔,池田聖,山本晃生
    • Organizer
      第22 回計測自動制御学会システムインテグレーション部門講演会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 光軸の回転制御が可能なバルーンDEAレンズの開発2021

    • Author(s)
      三林弘季, 吉元俊輔, 池田 聖, 山本晃生
    • Organizer
      2021年度精密工学会春季大会学術講演会
    • Related Report
      2020 Research-status Report
  • [Presentation] ビデオ透過型可変焦点双眼拡大鏡2020

    • Author(s)
      澤井智紀, 池田 聖, 吉元俊輔, 石塚裕己, 黒田嘉宏, 大城 理
    • Organizer
      システム制御情報学会研究発表講演会論文集
    • Related Report
      2020 Research-status Report
  • [Presentation] 視覚拡張のための三次元注視位置推定2019

    • Author(s)
      澤井智紀, 吉元俊輔, 黒田嘉宏, 大城 理
    • Organizer
      システム制御情報学会研究発表講演会論文集
    • Related Report
      2019 Research-status Report
  • [Presentation] 注視による焦点調節を行う顕微視覚拡張インターフェイス2019

    • Author(s)
      澤井智紀, 吉元俊輔, 池田 聖, 石塚裕己, 黒田嘉宏, 大城 理
    • Organizer
      日本バーチャルリアリティ学会 複合現実感研究会予稿集
    • Related Report
      2019 Research-status Report
  • [Remarks] 東京大学 大学院新領域創成科学研究科 吉元俊輔

    • URL

      https://www.aml.t.u-tokyo.ac.jp/~yoshimoto/

    • Related Report
      2020 Research-status Report

URL: 

Published: 2019-07-04   Modified: 2023-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi