2021 Fiscal Year Research-status Report
Organizing Videos by Human-in-the-Loop Machine Learning for for Skill Transfer and Know-How Sharing
| Project/Area Number |
20K12115
|
|---|
| Research Institution | Tokyo University of Science |
|---|
Principal Investigator |
谷口 行信 東京理科大学, 工学部情報工学科, 教授 (70759422)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
古田 諒佑 東京大学, 生産技術研究所, 助教 (20843535)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 人間参加型機械学習 / Human-in-the-loop / 弱教師あり学習 / 技能伝承 / 画像認識 |
|---|
| Outline of Annual Research Achievements |
製造業・看護など様々な業界において，熟練者から初心者への技能伝承，組織内でのノウハウ共有が重要な課題となっている．本研究の目的は，画像認識により自動的に画像・映像を組織化することで，技能伝承・ノウハウ共有を促進することである．
2021年度は以下の検討を行った：
(1) 映像と言語の類似度学習による作業映像のシーン分割：技能伝承・ノウハウ共有を促進する上で，映像に関連する作業手順書，メモ等の文書情報を活用することは重要である．今年度は映像と言語情報の対応関係に着目した映像のシーン分割手法について検討した．作業映像が複数のシーンから構成され，各シーンに言語情報（例えば，作業内容記述文）が対応することを仮定し，シーン分割を「キャプションとフレーム画像の１対多マッチング」と捉えることでシーン分割を自動化する手法を提案した．
(2) 画像認識結果の能動的提示・ユーザフィードバックによる弱教師あり学習：作業映像の時系列アライメントについて検討を継続している．映像から抽出したシーンを能動的にオペレータに提示し，動画一対比較の結果を画像表現学習にフィードバックことで，少量のアノテーション作業で時系列アライメントの精度を向上させる．本年度は，オペレータに提示するシーン対をシーン境界付近から多く選択することでアノテーション作業時間が短縮できることを確認した．
(3)深層学習を用いた漫画の半自動彩色：本技術の漫画制作への展開可能性を検討した．漫画の彩色作業は言語化が難しく高い技能を必要とする作業である．陰影のない「ベタ塗り」画像は非熟練者でも比較的短時間で作成できることに着目し，ベタ塗り画像とスクリーントーン画像から半自動で高品質な彩色画像を生成する深層学習ベースの手法，及び，カラーヒントを与えることでインタラクティブにベタ塗り画像を作成するシステムを作成しユーザ評価実験を実施した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
画像認識結果の能動的提示・フィードバックを用いた弱教師あり学習手法の検討は当初計画より少し遅れているものの．当初計画には含まれていなかった，映像と言語の類似度学習による作業映像のシーン分割，漫画の自動彩色への展開について検討し，国内・国際会議での発表も行っている．
|
| Strategy for Future Research Activity |
今後は，時系列アライメント以外のタスクに，画像認識結果の能動的提示・フィードバック，弱教師有り学習のフレームワークを拡張予定である．現在は料理映像の公開データセットを使用しているが，より現実的な実験・評価のためのデータセット整備についても検討していく．
|
| Causes of Carryover |
国内学会・国際会議参加の旅費を支出する計画であったが，新型コロナウィルス感染拡大に伴い会議がオンライン開催となり旅費の支出がなくなったため，未使用額が生じた．このため，未使用額は次年度以降の学会発表の旅費に充てる予定である．
|
Research Products
(6 results)
