A Technology Transfer System based on Creation of Work Records and Procedures using Speech and Language Processing Technologies

2020 Fiscal Year Final Research Report

• Project/Area Number: 17H01977
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Science education
• Research Institution: University of Yamanashi
• Principal Investigator: NISHIZAKI Hiromitsu 山梨大学, 大学院総合研究部, 准教授 (40362082)
• Co-Investigator(Kenkyū-buntansha): 北岡 教英 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (10333501) ; 山本 一公 中部大学, 工学部, 准教授 (40324230) ; 宇津呂 武仁 筑波大学, システム情報系, 教授 (90263433)
• Project Period (FY): 2017-04-01 – 2021-03-31
• Keywords: 技術伝承 / 作業記録 / ノウハウ・暗黙知 / 音声認識 / 雑音除去 / ユーザインタフェース / 専門用語認識

Outline of Final Research Achievements

In this study, we have developed a technology transfer system that records video and audio recordings of work procedures in manufacturing and agriculture, and supports the creation of work procedures from these recordings. As the basic technology to realize the support system, we developed advanced speech recognition technology (noise reduction, speech processing for experienced engineers (elderly)) under real environment. In addition, we have also developed a technology to create a database of technical know-how that can be used to create examples of know-how questions and answers. Using these results, we developed a user interface for a work procedure recording system and demonstrated its usefulness.

Free Research Field

音声言語情報処理

Academic Significance and Societal Importance of the Research Achievements

本研究では，音声・言語処理基盤技術を用いて，作業者の持つ暗黙知・ノウハウを他者へと伝える作業手順書の作成支援システムを構築した。この中で，深層学習等を用いて新しい音声・言語処理基盤技術を開発した。これらの基盤技術は本研究課題だけではなく，他の分野にも応用できる点で学術的な意義は大きい。また，技術者の高齢化が進み，技術を後世へ伝える技術伝承は大きな社会問題となっている。技術伝承支援と，これを支える最先端の人工知能技術を探究し，これらの有効性を確認することは将来の技術者育成に寄与するほか，新しい人工知能・ICT技術の創出・発展にもつながる。