2022 Fiscal Year Annual Research Report
Organizing Videos by Human-in-the-Loop Machine Learning for for Skill Transfer and Know-How Sharing
| Project/Area Number |
20K12115
|
|---|
| Research Institution | Tokyo University of Science |
|---|
Principal Investigator |
谷口 行信 東京理科大学, 工学部情報工学科, 教授 (70759422)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
古田 諒佑 東京大学, 生産技術研究所, 助教 (20843535)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 人間参加型機械学習 / Human-in-the-loop / 弱教師あり学習 / 技能伝承 / 画像認識 |
|---|
| Outline of Annual Research Achievements |
製造業・看護など様々な業界において，熟練者から初心者への技能伝承，組織内でのノウハウ共有が重要な課題となっている．本研究の目的は，画像認識により画像・映像を組織化することで，技能伝承・ノウハウ共有を促進することにある．
研究期間全体の研究成果は以下のとおりである：(1) ユーザが付与する少量の注釈データ（ユーザアノテーション）を用いて，弱教師あり学習や転移学習の考え方に基づき，画像・映像を組織化する手法を開発した．具体的には，複数の画像認識タスク（「人」と「もの」の関係を推測するHuman-object interaction検出，漫画の半自動彩色など）に適用し，公開データセットを用いた実験により有効性を示した．(2) 画像認識結果をユーザに能動的に提示し，ユーザフィードバックを得ながら画像認識モデルを改良していく人間参加型機械学習のアプローチに着目し，画像認識結果の能動的提示法を開発した．
2022年度の研究成果は以下のとおりである：(1) 映像情報と言語情報の類似度学習に基づく映像の意味的シーン分割の高精度化に取り組んだ．シーン（作業工程）によって出現頻度・時間長が大きく異なること（データ不均衡）が学習に悪影響を与えていることに注目し，重み付き損失関数を導入することで精度を向上させた．(2) 弱教師あり学習に基づく映像組織化の応用例として，乳牛のマウンティング行動を自動検知する手法を開発した．マウンティング行動は稀にしか起きないため，教師データの収集には多大な労力がかかる問題に対して，通常の乳牛画像から疑似マウンティング画像を生成し，学習に利用するアプローチを提案した．(3) 意味的シーン分割の高精度化に向けて，手の動きに着目したシーン境界検出手法を提案した．机上作業においては，作業対象物や道具に手を伸ばすといった手の動きが，シーン境界で現れることが多い点に着目した．
|
Research Products
(5 results)
