Organizing Videos by Human-in-the-Loop Machine Learning for for Skill Transfer and Know-How Sharing
| Project/Area Number |
20K12115
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62030:Learning support system-related
|
|---|
| Research Institution | Tokyo University of Science |
|---|
Principal Investigator |
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
古田 諒佑 東京大学, 生産技術研究所, 助教 (20843535)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2020: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | 人間参加型機械学習 / Human-in-the-loop / 弱教師あり学習 / 技能伝承 / 画像認識 / 機械学習 / 人間参加型 |
|---|
| Outline of Research at the Start |
製造業・看護など様々な業界において，熟練者から初心者への技能伝承，組織内でのノウハウ共有が重要な課題となっている．言語化が難しい技能やノウハウを共有する手段として「映像」が有効であるが，組織内で映像を共有する前に最低限の編集（映像のシーンにコメントや注釈を付与する作業）は必要であり，素人にとって心理的ハードルが高いという問題がある．本研究計画では，教師データ作成に多大なコストをかけることなく高精度な画像認識モデルを構築するために，人と機械が協調してシステムを賢くしていく人間参加型(Human-in-the-loop)機械学習を採用した新たな学習手法を創出する．
|
| Outline of Final Research Achievements |
This research aims to promote skill transfer and know-how sharing by automatically organizing unedited work videos --- dividing them into semantic scenes and tagging them --- using image recognition. To reduce the annotation burden associated with the development of image recognition models, we investigated the following two approaches: (1) weakly supervised and transfer learning approach, which trains image recognition models by taking advantage of the small amount of incomplete annotation data provided by the user, and (2) a human-in-the-loop machine learning approach, which improves image recognition models by presenting the image recognition results to the user and obtaining the user feedback.
|
| Academic Significance and Societal Importance of the Research Achievements |
製造業・看護など様々な業界において，熟練者から初心者への技能伝承，組織内でのノウハウ共有が重要な課題となっている．技能伝承・ノウハウは，企業やコミュニティに閉じたドメイン固有の概念を扱うため，学習データの整備，汎用的な画像認識モデルの構築が難しいことが問題となっている．本研究成果は，この問題点の解決に向けたもので，技能伝承・ノウハウ共有の促進に資するものである．なお，ここで開発した手法は，学習データ整備の困難を軽減するもので，当初想定した分野以外への展開も可能であることを示した．
|
Report
(4 results)
Research Products
(16 results)
