• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Extending Object Recognition Awareness of the Visually Impaired by Giving Improved Haptic Information Support

Research Project

Project/Area Number 18H03656
Research Category

Grant-in-Aid for Scientific Research (A)

Allocation TypeSingle-year Grants
Section一般
Review Section Medium-sized Section 9:Education and related fields
Research InstitutionTsukuba University of Technology

Principal Investigator

TATSUMI Hisayuki  筑波技術大学, 保健科学部, 教授 (30188271)

Co-Investigator(Kenkyū-buntansha) 関田 巖  筑波技術大学, 保健科学部, 教授 (40357322)
小林 真  筑波技術大学, 保健科学部, 准教授 (60291853)
Project Period (FY) 2018-04-01 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥43,680,000 (Direct Cost: ¥33,600,000、Indirect Cost: ¥10,080,000)
Fiscal Year 2021: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
Fiscal Year 2020: ¥14,560,000 (Direct Cost: ¥11,200,000、Indirect Cost: ¥3,360,000)
Fiscal Year 2019: ¥13,520,000 (Direct Cost: ¥10,400,000、Indirect Cost: ¥3,120,000)
Fiscal Year 2018: ¥10,660,000 (Direct Cost: ¥8,200,000、Indirect Cost: ¥2,460,000)
Keywords視覚障碍 / オブジェクト認識支援 / 擬似オブジェクト / 仮想触力覚 / 形状理解 / 距離場空間モデル / 仮想物体 / 触知 / 脳活動 / 擬似形状生成 / イメージ把握 / 状況把握 / 擬似オブジェクト生成 / 触力覚 / 行動認識
Outline of Final Research Achievements

This research aims to provide information accessibility support for visually impaired to perform actions and behaviors that recognize objects by themselves or reflect their understanding of the situation. Therefore, we plan to develop an object recognition method for them to improve the shape understanding of the target recognition object by touch virtual haptic senses created from a pseudo-object in a computer. In general, the shape information of an object is difficult to verbalize. Even if its information is transformed into spoken words, it is hard to understand the shape of an object through hearing. Therefore, it is necessary to expand context awareness into 2D or 3D contexts while collaborating with visually impaired who rely on haptic sensation. In this report, for pseudo-objects created by combining 2D and 3D basic shapes in a computer, we consider the processes of shape understanding and object recognition under visually impaired conditions based on virtual haptic senses.

Academic Significance and Societal Importance of the Research Achievements

視覚障碍者と晴眼者との間の情報獲得格差はウェアラブルセンシングの発達に伴ってさらに広がると予想される。1人称視点映像のリモコン画像からテレビを見るという行動認識を推定して番組表を提示するといった未来も間近に迫っている。しかし,視覚障碍者は1人称視点映像を取得できず,仮に代替方法で取得できたとしても行動認識を誘起させるには触知によるオブジェクト形状の伝達は必須である。視覚障碍者自身が対象オブジェクトの触知が簡単に行え,それを行動認識に利用することは,環境の状況把握や学習への行為を含めて,様々な視覚障碍支援に応用することができる。

Report

(5 results)
  • 2021 Annual Research Report   Final Research Report ( PDF )
  • 2020 Annual Research Report
  • 2019 Annual Research Report
  • 2018 Annual Research Report
  • Research Products

    (53 results)

All 2022 2021 2020 2019 2018 Other

All Int'l Joint Research (4 results) Journal Article (16 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 10 results,  Open Access: 7 results) Presentation (31 results) Remarks (2 results)

  • [Int'l Joint Research] Royal Military College of Canada(カナダ)

    • Related Report
      2021 Annual Research Report
  • [Int'l Joint Research] University Claude-Bernard Lyon 1(フランス)

    • Related Report
      2021 Annual Research Report
  • [Int'l Joint Research] University Claude-Bernard Lyon 1(フランス)

    • Related Report
      2020 Annual Research Report
  • [Int'l Joint Research] University Claude-Bernard Lyon 1(フランス)

    • Related Report
      2019 Annual Research Report
  • [Journal Article] Development of walking support system for the visually impaired people using pre-trained AI model2021

    • Author(s)
      Yasuyuki Murai,Hisayuki Tatsumi,Yumiko Ota,Masahiro Miyakawa
    • Journal Title

      Proceedings of the 2021 13th International Conference on Education Technology and Computers

      Volume: ICETC 2021 Pages: 477-482

    • DOI

      10.1145/3498765.3498840

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Hereditary rigidity, separation and density2021

    • Author(s)
      Lucien Haddad,Masahiro Miyakawa,Maurice Pouzet,Hisayuki Tatsumi
    • Journal Title

      Proceedings of the 2021 IEEE 51th International Symposium on Multiple-Valued Logic

      Volume: ISMVL 2021 Pages: 62-67

    • DOI

      10.1109/ismvl51352.2021.00020

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] 自然言語処理モデルmT5を用いた深層学習による盲ろう者向け自動要約筆記システム2021

    • Author(s)
      市川 涼介,村田 勇樹,堀江 則之,巽 久行
    • Journal Title

      人文科学とコンピュータシンポジウム論文集

      Volume: Vol.2021,No.1 Pages: 116-123

    • NAID

      170000186293

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 3D Shape Understanding for the Visually Impaired by using Virtual Haptic Senses based on Fuzzy Logic2020

    • Author(s)
      Tatsumi Hisayuki,Murai Yasuyuki,Kobayashi Makoto,Sekita Iwao,Miyakawa Masahiro
    • Journal Title

      Proceedings of the 2020 IEEE 50th International Symposium on Multiple-Valued Logic

      Volume: ISMVL 2020 Pages: 94-97

    • DOI

      10.1109/ismvl49045.2020.00-23

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Support for Visually Impaired Persons' Understanding of Proximity Space and Action Recognition Based on Pointing2020

    • Author(s)
      Murai Yasuyuki,Tatsumi Hisayuki,Ota Yumiko,Miyakawa Masahiro
    • Journal Title

      Proceedings of the 2020 12th International Conference on Education Technology and Computers

      Volume: ICETC 2020

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Floor-Volleyball Motion Feedback System for Visually Impaired Players2020

    • Author(s)
      Kobayashi Makoto,Tatsumi Hisayuki
    • Journal Title

      Proceedings of the 2020 12th International Conference on Education Technology and Computers

      Volume: ICETC 2020

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Preservation of discrete structures. A metric point of view2020

    • Author(s)
      Christian Delhomme,Masahiro Miyakawa,Maurice Pouzet,Hisayuki Tatsumi
    • Journal Title

      https://arxiv.org/abs/2004.05139

      Volume: arXiv:2004.05139

    • Related Report
      2020 Annual Research Report
    • Open Access / Int'l Joint Research
  • [Journal Article] Recording of touch sensing using optical motion capture system2019

    • Author(s)
      Murai Yasuyuki, Tatsumi Hisayuki, Miyakawa Masahiro
    • Journal Title

      Proceedings of the 11th International Conference on Education Technology and Computers

      Volume: ICETC 2019 Pages: 282-286

    • DOI

      10.1145/3369255.3369314

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] A Study on Machine Learning-Based Image Identification Towards Assitive Automation of Commentary on Animation Characters2019

    • Author(s)
      Yoshino Yu, Nakada Kazuki, Kobayashi Makoto, Tatsumi Hisayuki
    • Journal Title

      Proceedings of the 2019 International Conference on Machine Learning and Cybernetics

      Volume: ICMLC 2019 Pages: 591-594

    • DOI

      10.1109/icmlc48188.2019.8949258

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 仮想的な触力覚で形状理解を行う視覚障碍者のためのオブジェクト認識支援2019

    • Author(s)
      巽久行, 村井保之, 小林真, 関田巌, 宮川正弘
    • Journal Title

      筑波技術大学テクノレポート

      Volume: 27 (1) Pages: 1-5

    • NAID

      120006771058

    • Related Report
      2019 Annual Research Report
    • Open Access
  • [Journal Article] 弱視の一人称視点認識に有効な視感測色の数値化2019

    • Author(s)
      巽久行, 村井保之
    • Journal Title

      筑波技術大学テクノレポート

      Volume: 27 (1) Pages: 112-113

    • NAID

      120006771096

    • Related Report
      2019 Annual Research Report
    • Open Access
  • [Journal Article] マクスウェル光学視を利用した弱視の視認支援2019

    • Author(s)
      巽久行,村井保之
    • Journal Title

      筑波技術大学テクノレポート

      Volume: 24 (2) Pages: 100-101

    • NAID

      120006576825

    • Related Report
      2018 Annual Research Report
    • Open Access
  • [Journal Article] 弱視の視認に有効な色弁別領域の検討2019

    • Author(s)
      巽久行,村井保之,中田一紀,小林真,関田巌,宮川正弘
    • Journal Title

      筑波技術大学テクノレポート

      Volume: 24 (2) Pages: 1-5

    • NAID

      120006576826

    • Related Report
      2018 Annual Research Report
    • Open Access
  • [Journal Article] 触知の向上による視覚障碍者のオブジェクト認識意識の拡充2018

    • Author(s)
      巽久行,村井保之,中田一紀,小林真,関田巌,宮川正弘
    • Journal Title

      筑波技術大学テクノレポート

      Volume: 24 (2) Pages: 6-10

    • NAID

      120006540800

    • Related Report
      2018 Annual Research Report
    • Open Access
  • [Journal Article] A tablet-type acoustic digital pen that presents pen strokes with music tones2018

    • Author(s)
      Nakada Kazuki、Kobayashi Makoto、Murai Yasuyuki、Sekita Iwao、Tatsumi Hisayuki
    • Journal Title

      Proc. 10th Int. Conf. on Education Technology and Computers

      Volume: - Pages: 297-301

    • DOI

      10.1145/3290511.3290573

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Recording of Fingertip Position on Tactile Picture by the Visually Impaired and Analysis of Tactile Information2018

    • Author(s)
      Murai Yasuyuki、Tatsumi Hisayuki、Miyakawa Masahiro
    • Journal Title

      Proc. 16th Int. Conf. on Computers Helping People with Special Needs (ICCHP2018), Springer LNCS

      Volume: 10897 Pages: 201-208

    • DOI

      10.1007/978-3-319-94274-2_27

    • ISBN
      9783319942735, 9783319942742
    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Presentation] 触察での形状理解における晴眼者と視覚障碍者との脳活動の差異について2022

    • Author(s)
      巽 久行,市川 涼介,村田 勇樹,堀江 則之,村井 保之
    • Organizer
      情報処理学会第84回全国大会, 講演論文集Vol.4, No.4H-02, pp.529-530
    • Related Report
      2021 Annual Research Report
  • [Presentation] 視覚障碍者歩行支援のためのAIを用いた歩行者と歩行可能領域の検出2022

    • Author(s)
      村井 保之,巽 久行,太田 友三子,宮川 正弘
    • Organizer
      情報処理学会第84回全国大会, 講演論文集Vol.4, No.4H-03, pp.531-532
    • Related Report
      2021 Annual Research Report
  • [Presentation] 機械学習を用いた誘導マーク認識と人流検出による重度視覚障害者向け駅構内歩行支援システム2022

    • Author(s)
      市川 涼介,村田 勇樹,村井 保之,堀江 則之,巽 久行
    • Organizer
      情報処理学会第84回全国大会, 講演論文集Vol.4, No.7ZJ-06, pp.765-766
    • Related Report
      2021 Annual Research Report
  • [Presentation] 指動作追跡技術を活用した点字初学者向け触読位置伝達システム2022

    • Author(s)
      村田 勇樹,市川 涼介,巽 久行,堀江 則之
    • Organizer
      情報処理学会第84回全国大会, 講演論文集Vol.4, No.1ZM-08, pp.983-984
    • Related Report
      2021 Annual Research Report
  • [Presentation] 言語処理モデルmT5とUDト-クによる盲ろう者向け自動要約筆記システム2021

    • Author(s)
      市川 涼介,村田 勇樹,堀江 則之,巽 久行
    • Organizer
      情報処理学会アクセシビリティ研究会, 研究報告Vol.2021-AAC-17, No.2, pp.1-8
    • Related Report
      2021 Annual Research Report
  • [Presentation] オンライン授業における点字初学者向け触読位置伝達システム2021

    • Author(s)
      村田 勇樹,市川 涼介,小林 真,巽 久行,堀江 則之
    • Organizer
      ヒューマンインタフェース学会シンポジウム2021, 講演論文集No.PD4-2, pp.434-437
    • Related Report
      2021 Annual Research Report
  • [Presentation] レーザ網膜投影で電子白板の情報を視認させる弱視学生のための合理的配慮2021

    • Author(s)
      巽 久行,村井 保之,森野 誠治,鈴木 誠
    • Organizer
      第20回情報科学技術フォーラム (FIT2021), 講演論文集Vol.3, No.K-015, pp.363-364
    • Related Report
      2021 Annual Research Report
  • [Presentation] 触力覚を伴う擬似仮想オブジェクトの触察による形状認識での視覚障碍者の脳活動について2021

    • Author(s)
      巽 久行,市川 涼介,小林 真,関田 巌,村井 保之
    • Organizer
      第20回情報科学技術フォーラム (FIT2021), 講演論文集Vol.3, No.K-016, pp.365-366
    • Related Report
      2021 Annual Research Report
  • [Presentation] 深層学習を利用した盲ろう者向け自動要約筆記システムの提案2021

    • Author(s)
      市川 涼介,村田 勇樹,堀江 則之,巽 久行
    • Organizer
      第20回情報科学技術フォーラム (FIT2021), 講演論文集Vol.3, No.K-017, pp.367-368
    • Related Report
      2021 Annual Research Report
  • [Presentation] 学習済AIを用いた視覚障碍者歩行支援アプリの試作2021

    • Author(s)
      村井 保之,巽 久行,太田 友三子,徳増 眞司,宮川 正弘
    • Organizer
      第20回情報科学技術フォーラム (FIT2021), 講演論文集Vol.3, No.K-019, pp.371-372
    • Related Report
      2021 Annual Research Report
  • [Presentation] レーザ網膜投影を用いて板書情報の視認を支援する弱視向き電子白板の検討2021

    • Author(s)
      巽 久行,堀江 則之,村井 保之,小林 真
    • Organizer
      電子情報通信学会福祉情報工学研究会, 信学技報WIT2021-7, pp.32-37
    • Related Report
      2021 Annual Research Report
  • [Presentation] ウェアラブルカメラを用いた視覚障碍者の行動認識と支援2020

    • Author(s)
      村井 保之,巽 久行,太田 友三子,徳増 眞司,宮川 正弘
    • Organizer
      第19回情報科学技術フォーラム (FIT2020), 講演論文集Vol.3, No.K-005, pp.345-346
    • Related Report
      2020 Annual Research Report
  • [Presentation] 音響感覚で形状理解を助ける視覚障碍者のためのオブジェクト触知支援2020

    • Author(s)
      巽 久行,村井 保之,徳増 眞司,関田 巌,宮川 正弘
    • Organizer
      第19回情報科学技術フォーラム (FIT2020), 講演論文集Vol.3, No.K-004, pp.343-344
    • Related Report
      2020 Annual Research Report
  • [Presentation] 弱視者のアニメ視聴を支援するためのキャラクター識別について2020

    • Author(s)
      吉野優, 中田一紀, 小林真, 関田巌, 巽久行
    • Organizer
      情報アクセシビリティをめぐる諸問題に関する研究集会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 視覚障碍者のオブジェクト認識支援を目的とした仮想的な触力覚による擬似形状理解2019

    • Author(s)
      巽久行, 村井保之, 小林真, 関田巌, 宮川正弘
    • Organizer
      電子情報通信学会教育工学研究会, 信学技報ET2019-53, pp.33-38
    • Related Report
      2019 Annual Research Report
  • [Presentation] 仮想的な触力覚や音響感覚で形状理解を行う視覚障碍者のためのオブジェクト認識支援2019

    • Author(s)
      巽久行, 村井保之, 関田巌, 宮川正弘
    • Organizer
      第29回インテリジェント・システム・シンポジウム, FAN2019講演論文集, C3-2
    • Related Report
      2019 Annual Research Report
  • [Presentation] 光学式モーションキャプチャを用いた視覚障碍者の触指の記録と分析2019

    • Author(s)
      村井保之, 巽久行, 宮川正弘
    • Organizer
      第29回インテリジェント・システム・シンポジウム, FAN2019講演論文集, C4-1
    • Related Report
      2019 Annual Research Report
  • [Presentation] 視覚障碍者の情報アクセスを目的とした機械学習によるアニメーションキャラクターの識別2019

    • Author(s)
      吉野優, 中田一紀, 小林真, 関田巌, 巽久行
    • Organizer
      第42回多値論理フォーラム, 多値論理研究ノート, Vol.42, No.16, pp.16_1-16_7
    • Related Report
      2019 Annual Research Report
  • [Presentation] 視覚障害者がアニメを楽しむための機械学習によるキャラクター識別システム2019

    • Author(s)
      吉野優, 中田一紀, 小林真, 関田巌, 巽久行
    • Organizer
      電子情報通信学会教育工学研究会, 信学技報ET2019-31, pp.35-40
    • Related Report
      2019 Annual Research Report
  • [Presentation] 基本形状の擬似触知に対する視覚障碍者の形状認識について2019

    • Author(s)
      巽久行, 村井保之, 関田巌, 宮川正弘
    • Organizer
      第18回情報科学技術フォーラム, FIT2019講演論文集, Vol.3, No.K-027, pp.361-362
    • Related Report
      2019 Annual Research Report
  • [Presentation] 光学式モーションキャプチャによる触指動作の記録と分析2019

    • Author(s)
      村井保之, 巽久行, 徳増眞司, 宮川正弘
    • Organizer
      第18回情報科学技術フォーラム, FIT2019講演論文集, Vol.3, No.K-028, pp.363-364
    • Related Report
      2019 Annual Research Report
  • [Presentation] モーションキャプチャによる触指動作の記録と分析2019

    • Author(s)
      村井保之,巽久行
    • Organizer
      情報アクセシビリティをめぐる諸問題に関する研究集会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 弱視における効果的な認識のための色識別領域について2019

    • Author(s)
      巽久行,村井保之
    • Organizer
      情報アクセシビリティをめぐる諸問題に関する研究集会
    • Related Report
      2018 Annual Research Report
  • [Presentation] モーションキャプチャを用いた視覚障碍者の触指動作分析2018

    • Author(s)
      村井保之,巽久行,徳増眞司,宮川正弘
    • Organizer
      第17回情報科学技術フォーラム(FIT2018),講演論文集,Vol.3, No.K-033, pp.379-380
    • Related Report
      2018 Annual Research Report
  • [Presentation] 擬似触覚形状の生成による視覚障碍者のオブジェクト認識の向上2018

    • Author(s)
      巽久行,村井保之,関田巌,徳増眞司,宮川正弘
    • Organizer
      第17回情報科学技術フォーラム(FIT2018),講演論文集,Vol.3, No.K-032, pp.377-378
    • Related Report
      2018 Annual Research Report
  • [Presentation] 弱視者のオブジェクト認識に有効な視感測色の検討2018

    • Author(s)
      巽久行,村井保之,小林真,関田巌,宮川正弘
    • Organizer
      第17回情報科学技術フォーラム(FIT2018),講演論文集,Vol.3, No.K-031, pp.375-376
    • Related Report
      2018 Annual Research Report
  • [Presentation] 弱視の視認に有効な色相と明度の関連による視感領域の推定2018

    • Author(s)
      巽久行,村井保之,中田一紀,小林真,関田巌,宮川正弘
    • Organizer
      第41回多値論理フォーラム,多値論理研究ノート,Vol.41, No.21, pp.21_1-21_6
    • Related Report
      2018 Annual Research Report
  • [Presentation] 位相幾何学的アプローチに基づく特徴抽出と音響ペンへの応用2018

    • Author(s)
      中田一紀,三浦佳二,小林真,村井保之,関田巌,巽久行
    • Organizer
      第41回多値論理フォーラム,多値論理研究ノート,Vol.41, No.20, pp.20_1-20_8
    • Related Report
      2018 Annual Research Report
  • [Presentation] タブレット型音響ペンによる筆移動呈示システム2018

    • Author(s)
      中田一紀,小林真,村井保之,関田巌,巽久行
    • Organizer
      ヒューマンインタフェースシンポジウム(HIS2018),講演論文集,No.65P, pp.625-629
    • Related Report
      2018 Annual Research Report
  • [Presentation] 弱視者の視認を向上させる色弁別領域の推測2018

    • Author(s)
      巽久行,村井保之,中田一紀,小林真,関田巌,宮川正弘
    • Organizer
      ヒューマンインタフェースシンポジウム(HIS2018),講演論文集,No.6D1-4, pp.310-313
    • Related Report
      2018 Annual Research Report
  • [Presentation] 基本図形を組み合わせた触図による触指動作の分析2018

    • Author(s)
      村井保之,巽久行,宮川正弘
    • Organizer
      ヒューマンインタフェースシンポジウム(HIS2018),講演論文集,No.6D1-3, pp.306-309
    • Related Report
      2018 Annual Research Report
  • [Remarks] 仮想的な触力覚で形状理解を行う視覚障碍者のためのオブジェクト認識支援

    • URL

      http://hdl.handle.net/10460/1964

    • Related Report
      2019 Annual Research Report
  • [Remarks] 触知の向上による視覚障碍者のオブジェクト認識意識の拡充

    • URL

      http://hdl.handle.net/10460/1859

    • Related Report
      2018 Annual Research Report

URL: 

Published: 2018-04-23   Modified: 2023-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi