• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

視線と瞬目を用いたキャリブレーションフリー入力インタフェース

研究課題

研究課題/領域番号 21K12801
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分90150:医療福祉工学関連
研究機関東京電機大学

研究代表者

阿部 清彦  東京電機大学, システムデザイン工学部, 教授 (40408646)

研究分担者 佐藤 寛修  関東学院大学, 理工学部, 助手 (90813741)
松野 省吾  群馬大学, 情報学部, 助教 (60836245)
研究期間 (年度) 2021-04-01 – 2024-03-31
研究課題ステータス 完了 (2023年度)
配分額 *注記
3,770千円 (直接経費: 2,900千円、間接経費: 870千円)
2023年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2022年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2021年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
キーワード視線入力 / キャリブレーションフリー / 畳み込みニューラルネットワーク / 視線計測 / 瞬目計測 / コミュニケーション支援 / 畳込みニューラルネットワーク / Vision Transformer / 3次元畳込みニューラルネットワーク / 視線 / 瞬目 / 入力インタフェース / 3D-CNN / 瞬目入力 / 再帰型ニューラルネットワーク
研究開始時の研究の概要

視線入力は眼球やまぶた以外の運動を必要としないので、運動機能を著しく制限されている人たちも使用が可能であり、これを利用したコミュニケーション支援システムが多く提案されている。本研究では、ディープラーニングを活用しノートパソコン1台から構成される視線入力システムを開発する。このシステムは従来のシステムとは異なり、システム使用前にキャリブレーション(較正、調整)の必要がなく、専門的な知識や技術がないユーザでも利用できるように工夫されている。

研究成果の概要

ユーザの視線や瞬目の情報によりパソコンを操作する視線入力は、重度肢体不自由者など一般的な入力インタフェースの使用が困難な人たちのコミュニケーション支援に使われる。従来の視線入力インタフェースの多くは、使用前にユーザごとにキャリブレーション(較正)を行なう必要があり、使用に煩雑さがあった。本研究では、画像識別の一手法である畳み込みニューラルネットワーク(CNN)を利用することにより、ノートパソコンのインカメラで撮影されたユーザの眼球近傍画像から視線と瞬目の情報をリアルタイムで捉え、パソコンに文字を入力しWebブラウザを操作する新しいキャリブレーションフリーの視線入力インタフェースを開発した。

研究成果の学術的意義や社会的意義

本研究課題で開発した新しい視線入力インタフェースは、キャリブレーションフリーであり、利用に際してユーザごとの較正を一切必要としないため、使用したいときにすぐに使うことができる。またこの視線入力インタフェースは、廉価なノートパソコンのみで使用が可能であり、視線と瞬目の情報のみで文字入力を行ったりWebブラウザを操作するなど、重度肢体不自由者のコミュニケーション支援に利用できる。

報告書

(4件)
  • 2023 実績報告書   研究成果報告書 ( PDF )
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 研究成果

    (16件)

すべて 2024 2023 2022 2021

すべて 雑誌論文 (2件) (うち査読あり 2件) 学会発表 (14件) (うち国際学会 4件)

  • [雑誌論文] 3D CNNをもちいた瞬目種類識別のデータ拡張による性能向上2024

    • 著者名/発表者名
      佐藤 寛修, 阿部 清彦, 松野 省吾, 大山 実
    • 雑誌名

      電気学会論文誌C(電子・情報・システム部門誌)

      巻: 144 号: 4 ページ: 328-329

    • DOI

      10.1541/ieejeiss.144.328

    • ISSN
      0385-4221, 1348-8155
    • 年月日
      2024-04-01
    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] 3次元畳み込みニューラルネットワークをもちいた瞬目種類識別の詳細分析2023

    • 著者名/発表者名
      佐藤 寛修, 阿部 清彦, 松野 省吾, 大山 実
    • 雑誌名

      電気学会論文誌C(電子・情報・システム部門誌)

      巻: 143 号: 9 ページ: 971-978

    • DOI

      10.1541/ieejeiss.143.971

    • ISSN
      0385-4221, 1348-8155
    • 年月日
      2023-09-01
    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [学会発表] Gaze Direction Classification Using Vision Transforme2023

    • 著者名/発表者名
      Shogo Matsuno,Daiki Niikura, Kiyohiko Abe
    • 学会等名
      2023 15th International Congress on Advanced Applied Informatics Winter (IIAI-AAI-Winter)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 最頻値をもちいた3D CNN瞬目種類識別の出力補正法の検討2023

    • 著者名/発表者名
      佐藤 寛修, 阿部 清彦, 松野 省吾, 大山 実
    • 学会等名
      電気学会電子・情報・システム部門大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Vision Transformerによる視線方向識別2023

    • 著者名/発表者名
      新倉 大希, 阿部 清彦
    • 学会等名
      電気学会電子・情報・システム部門大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 視線方向識別による文字入力とウェブ検索システム2023

    • 著者名/発表者名
      新倉 大希, 阿部 清彦
    • 学会等名
      電子情報通信学会総合大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Eye-gaze Detection based on 3D Convolutional Neural Network2023

    • 著者名/発表者名
      Chaofan Zhang, Kiyohiko Abe
    • 学会等名
      The Twenty-Eighth International Symposium on Artificial Life and Robotics 2023
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] `Performance Improvement of 3D-CNN for Blink Types Classification by Data Augmentation2023

    • 著者名/発表者名
      Hironobu Sato, Kiyohiko Abe, Shogo Matsuno, Minoru Ohyama
    • 学会等名
      The Twenty-Eighth International Symposium on Artificial Life and Robotics 2023
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] 視線方向識別による文字入力とウェブ検索システム2023

    • 著者名/発表者名
      新倉大希,阿部清彦
    • 学会等名
      2023年電子情報通信学会総合大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 3D-CNNによる視線方向の識別2022

    • 著者名/発表者名
      張 超凡,阿部清彦
    • 学会等名
      2022年電気学会電子・情報・システム部門大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 視線方向推定による文字入力とウェブ検索システム2022

    • 著者名/発表者名
      新倉大希,阿部清彦
    • 学会等名
      2022年電気学会電子・情報・システム部門大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 瞬目種類識別のための3次元畳み込みニューラルネットワーク向けデータ拡張の検討2022

    • 著者名/発表者名
      佐藤寛修,阿部清彦,松野省吾,大山 実
    • 学会等名
      2022年電気学会電子・情報・システム部門大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Blink State Classification Using 3D Convolutional Neural Network2022

    • 著者名/発表者名
      Hironobu Sato, Kiyohiko Abe, Shogo Matsuno, and Minoru Ohyama
    • 学会等名
      The Twenty-Seventh International Symposium on Artificial Life and Robotics 2022
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] 畳み込みニューラルネットワークによる 視線方向の推定2022

    • 著者名/発表者名
      張超凡,阿部清彦
    • 学会等名
      電子情報通信学会 情報・システムソサイエティ特別企画 ジュニア&学生ポスターセッション
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 視線入力インタフェース向け遠隔実験システム2021

    • 著者名/発表者名
      阿部清彦,佐藤寛修,松野省吾,大山実
    • 学会等名
      2021年電気学会電子・情報・システム部門大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 3次元畳み込みニューラルネットワークによる瞬目種類識別の検討2021

    • 著者名/発表者名
      佐藤寛修,阿部清彦,松野省吾,大山実
    • 学会等名
      2021年電気学会電子・情報・システム部門大会
    • 関連する報告書
      2021 実施状況報告書

URL: 

公開日: 2021-04-28   更新日: 2025-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi