• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2017 Fiscal Year Research-status Report

携帯端末に適応した視線・脳波入力インタフェースシステム

Research Project

Project/Area Number 16K01538
Research InstitutionThe University of Electro-Communications

Principal Investigator

板倉 直明  電気通信大学, 大学院情報理工学研究科, 教授 (30223069)

Project Period (FY) 2016-04-01 – 2019-03-31
Keywords視線入力インタフェース / 脳波入力インタフェース / Eye Glance / Eye Gaze
Outline of Annual Research Achievements

視線・脳波インタフェースは手指を使用せずに視線、脳波を利用して機器への入力が可能となるインタフェースである。この視線・脳波入力インタフェースを携帯端末で実現するために、交付申請した研究の目的は以下の3つである。1-1)端末内蔵カメラだけで対応できるEye Glance入力(限定した方向への瞬間他所視入力)方式を完成させる。1-2)短時間入力可能なtransient 型脳波解析を利用した注視対象の判定方法を確立させる。1-3)インタフェース装置の低価格化、小型化を実現するシステムを開発する。
上記の目的を達成するために、平成28 年度から以下の計画、2-1)Eye Glance 入力に有効な生体信号処理方法と画面デザインの確立、 2-2)使用する点滅刺激に対する視覚誘発脳波の解析方法の確立、2-3)携帯可能でコンパクトな測定装置の開発、2-4)脳波、視線、音声を統合した入力インタフェース仕様の検討、2-5)心理的疲労などの作業負担評価、を実施した。
2-1)に対して、OpenCVを利用し、画像解析でEye Glance入力を検出する方法を提案し、90%を超える正確性でEye Glance入力を検出できるようになった。今後は、より高い正確性が得られるように改良を加える。また、画面デザインについては、少数自由度で多くの選択肢を入力できる汎用的なデザインを提案し実験を行った。2-2)に対して、具体的な解析方法を確立して実験を行ったが、画面制御が正確に行えない場合に問題が生じるため、画面制御を正確に行えるようにプログラムを改良する必要がある。2-3)に対して、プロトタイプの装置を開発したが、雑音対策が十分でないため、更なる改良が必要である。2-4)に関しては、種々の入力方式でも対応できるようなインタフェースを設計し始めている。2-5)は2-1)~2-4)が完成後に取り組む予定である。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

平成28 年度から、主に以下の計画2-1~2-5 を実施する計画であった。
2-1)Eye Glance 入力に有効な生体信号処理方法と画面デザインの確立、2-2)使用する点滅刺激に対する視覚誘発脳波の解析方法の確立、2-3)携帯可能でコンパクトな測定装置の開発、2-4)脳波、視線、音声を統合した入力インタフェース仕様の検討、2-5)心理的疲労などの作業負担評価である。
2-1)に対して、OpenCVを利用し、画像解析でEye Glance入力を検出する方法を提案し、90%を超える正確性でEye Glance入力を検出できるようになった。今後は、より高い正確性が得られるように改良を加える。また、画面デザインについては、少数自由度で多くの選択肢を入力できる汎用的なデザインを提案し実験を行った結果、キーボード方式には及ばないが、非常に簡易に入力できることが分かった。2-2)に対して、具体的な解析方法を確立して実験を行ったが、画面制御が正確に行えない場合に問題が生じるため、画面制御を正確に行えるようにプログラムを改良している。2-3)に対して、プロトタイプの装置を開発したが、雑音対策が十分でないため、更なる改良を行っている。2-4)に関しては、種々の入力方式でも対応できるようなインタフェースを設計し、プロトタイプを試作し実験を行う予定である。2-5)は2-1)~2-4)が完成後に取り組む予定である。

Strategy for Future Research Activity

平成28 年度から、主に以下の計画2-1~2-5 を実施する計画であった。
2-1)Eye Glance 入力に有効な生体信号処理方法と画面デザインの確立、2-2)使用する点滅刺激に対する視覚誘発脳波の解析方法の確立、2-3)携帯可能でコンパクトな測定装置の開発、2-4)脳波、視線、音声を統合した入力インタフェース仕様の検討、2-5)心理的疲労などの作業負担評価である。
2-1)に対して、OpenCVを利用し、画像解析でEye Glance入力を検出する方法を提案し、90%を超える正確性でEye Glance入力を検出できるようになった。今後は、より高い正確性が得られるように改良を加える。また、画面デザインについては、少数自由度で多くの選択肢を入力できる汎用的なデザインを提案し実験を行った結果、キーボード方式には及ばないが、非常に簡易に入力できることが分かったため、さらに多くの被験者で実験を行い性能を確かめる。2-2)に対して、具体的な解析方法を確立して実験を行ったが、画面制御が正確に行えない場合に問題が生じるため、画面制御を正確に行えるようにプログラムを改良している。具体的には、画面制御を正確に調整できるDirectX等を使用するこを予定している。2-3)に対して、プロトタイプの装置を開発したが、雑音対策が十分でないため、市販のチップを購入するなど更なる改良を行っていく。2-4)に関しては、種々の入力方式でも対応できるようなインタフェースデザインを幾つか提案し、プロトタイプを試作して実験を行う。2-5)は2-1)~2-4)が完成後に取り組む予定である。

Causes of Carryover

(理由)
基金であることを考え、当該年度の使用額を越さない程度に、ほぼ計画通りに使用した結果、少額の次年度使用額が発生した。
(使用計画)
次年度に繰り越した使用額が少額であることから、使用計画を変更することなく、前年度に引き続き、計画通りに研究を遂行する。

  • Research Products

    (9 results)

All 2018 2017

All Journal Article (5 results) (of which Peer Reviewed: 5 results) Presentation (4 results) (of which Int'l Joint Research: 3 results)

  • [Journal Article] Non-contact Eye-Glance Input Interface Using Video Camera2017

    • Author(s)
      K.Akehi, S.Matsuno, N.Itakura, T.Mizuno, K.Mito
    • Journal Title

      Journal of Signal Processing

      Volume: 21 Pages: 207-210

    • Peer Reviewed
  • [Journal Article] Feature Analysis Focused on Temporal Alteration of the Eyeblink Waveform Using Image Analysis2017

    • Author(s)
      Shogo Matsuno,Minoru Ohyama,Kiyohiko Abe,Shoichi Ohi, Naoaki Itakura
    • Journal Title

      IEEJ Transaction on Electronics, Information and Systems

      Volume: 137 Pages: 645-651

    • DOI

      10.1541/ieejeiss.137.645

    • Peer Reviewed
  • [Journal Article] 斜め視線移動を用いた多選択肢入力インタフェースの開発2017

    • Author(s)
      松野省吾、伊藤雄太、明比宏太、板倉直明、水野統太、水戸和幸
    • Journal Title

      電気学会論文誌C

      Volume: 137 Pages: 621-627

    • DOI

      10.1541/ieejeiss.137.621

    • Peer Reviewed
  • [Journal Article] Transient型VEP解析手法を用いた脳波インタフェースにおける指標点灯間隔および輝度の変化を利用した多選択肢化の検討2017

    • Author(s)
      松野省吾、王夢夢、相沢彰吾、板倉直明、水野統太、水戸和幸
    • Journal Title

      電気学会論文誌C

      Volume: 137 Pages: 616-620

    • DOI

      10.1541/ieejeiss.137.616

    • Peer Reviewed
  • [Journal Article] ビデオカメラを用いた非接触な視線入力インタフェースの検討2017

    • Author(s)
      明比宏太、松野省吾、板倉直明、水野統太、水戸和幸
    • Journal Title

      電気学会論文誌C

      Volume: 137 Pages: 628-633

    • DOI

      10.1541/ieejeiss.137.628

    • Peer Reviewed
  • [Presentation] A method of character input in an operating environment with low degree of freedom2018

    • Author(s)
      Shogo Matsuno, Susumu Chida, Naoaki Itakura, Tota Mizuno, Kazuyuki Mito
    • Organizer
      23rd International Symposium on Artificial Life and Robotics
    • Int'l Joint Research
  • [Presentation] Automatic classification of eye blinks and eye movements for an input interface using eye motion2017

    • Author(s)
      S.Matsuno, M.Tanaka, K.Yoshida, K.Akehi, N.Itakura, T.Mizuno, K.Mito
    • Organizer
      the 19th International Conference on Human-Computer Interaction
    • Int'l Joint Research
  • [Presentation] Non-contact Eye-Glance Input Interface Using Video Camera2017

    • Author(s)
      Kota Akehi, Shogo Matsuno, Tota Mizuno, Kazuyuki Mito, Naoaki Itakura
    • Organizer
      Proceedings of 2017 RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing
    • Int'l Joint Research
  • [Presentation] 画像処理を用いたEye Glance入力インタフェースの選択肢増加の検討2017

    • Author(s)
      明比宏太 Marzieh Aliabadi Farahani、水戸和幸、水野統太、板倉直明
    • Organizer
      電気学会研究会/計測研究会

URL: 

Published: 2018-12-17  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi