• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2021 年度 実施状況報告書

技能伝承・ノウハウ共有のための人間参加型機械学習による映像組織化

研究課題

研究課題/領域番号 20K12115
研究機関東京理科大学

研究代表者

谷口 行信  東京理科大学, 工学部情報工学科, 教授 (70759422)

研究分担者 古田 諒佑  東京大学, 生産技術研究所, 助教 (20843535)
研究期間 (年度) 2020-04-01 – 2023-03-31
キーワード人間参加型機械学習 / Human-in-the-loop / 弱教師あり学習 / 技能伝承 / 画像認識
研究実績の概要

製造業・看護など様々な業界において,熟練者から初心者への技能伝承,組織内でのノウハウ共有が重要な課題となっている.本研究の目的は,画像認識により自動的に画像・映像を組織化することで,技能伝承・ノウハウ共有を促進することである.
2021年度は以下の検討を行った:
(1) 映像と言語の類似度学習による作業映像のシーン分割:技能伝承・ノウハウ共有を促進する上で,映像に関連する作業手順書,メモ等の文書情報を活用することは重要である.今年度は映像と言語情報の対応関係に着目した映像のシーン分割手法について検討した.作業映像が複数のシーンから構成され,各シーンに言語情報(例えば,作業内容記述文)が対応することを仮定し,シーン分割を「キャプションとフレーム画像の1対多マッチング」と捉えることでシーン分割を自動化する手法を提案した.
(2) 画像認識結果の能動的提示・ユーザフィードバックによる弱教師あり学習:作業映像の時系列アライメントについて検討を継続している.映像から抽出したシーンを能動的にオペレータに提示し,動画一対比較の結果を画像表現学習にフィードバックことで,少量のアノテーション作業で時系列アライメントの精度を向上させる.本年度は,オペレータに提示するシーン対をシーン境界付近から多く選択することでアノテーション作業時間が短縮できることを確認した.
(3)深層学習を用いた漫画の半自動彩色:本技術の漫画制作への展開可能性を検討した.漫画の彩色作業は言語化が難しく高い技能を必要とする作業である.陰影のない「ベタ塗り」画像は非熟練者でも比較的短時間で作成できることに着目し,ベタ塗り画像とスクリーントーン画像から半自動で高品質な彩色画像を生成する深層学習ベースの手法,及び,カラーヒントを与えることでインタラクティブにベタ塗り画像を作成するシステムを作成しユーザ評価実験を実施した.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

画像認識結果の能動的提示・フィードバックを用いた弱教師あり学習手法の検討は当初計画より少し遅れているものの.当初計画には含まれていなかった,映像と言語の類似度学習による作業映像のシーン分割,漫画の自動彩色への展開について検討し,国内・国際会議での発表も行っている.

今後の研究の推進方策

今後は,時系列アライメント以外のタスクに,画像認識結果の能動的提示・フィードバック,弱教師有り学習のフレームワークを拡張予定である.現在は料理映像の公開データセットを使用しているが,より現実的な実験・評価のためのデータセット整備についても検討していく.

次年度使用額が生じた理由

国内学会・国際会議参加の旅費を支出する計画であったが,新型コロナウィルス感染拡大に伴い会議がオンライン開催となり旅費の支出がなくなったため,未使用額が生じた.このため,未使用額は次年度以降の学会発表の旅費に充てる予定である.

  • 研究成果

    (6件)

すべて 2022 2021 その他

すべて 雑誌論文 (2件) (うち査読あり 2件、 オープンアクセス 2件) 学会発表 (3件) 備考 (1件)

  • [雑誌論文] Painting Style-Aware Manga Colorization Based On Generative Adversarial Networks2021

    • 著者名/発表者名
      Shimizu Yugo, Furuta Ryosuke, Ouyang Delong, Taniguchi Yukinobu, Hinami Ryota, Ishiwatari Shonosuke
    • 雑誌名

      Proceedings of 2021 IEEE International Conference on Image Processing (ICIP 2021)

      巻: - ページ: 1739-1743

    • DOI

      10.1109/ICIP42928.2021.9506254

    • 査読あり / オープンアクセス
  • [雑誌論文] Interactive Manga Colorization with Fast Flat Coloring2021

    • 著者名/発表者名
      Ouyang Delong, Furuta Ryosuke, Shimizu Yugo, Taniguchi Yukinobu, Hinami Ryota, Ishiwatari Shonosuke
    • 雑誌名

      ACM SIGGRAPH Asia 2021 Posters

      巻: - ページ: 1-2

    • DOI

      10.1145/3476124.3488628

    • 査読あり / オープンアクセス
  • [学会発表] ベタ塗り画像を利用した半自動漫画彩色手法2022

    • 著者名/発表者名
      清水友悟,古田諒佑,欧陽徳龍,谷口行信,日並遼太,石渡祥之佑
    • 学会等名
      映像表現・芸術科学フォーラム 2022
  • [学会発表] Watershed法を用いたインタラクティブ漫画彩色システム2022

    • 著者名/発表者名
      欧陽徳龍,古田諒佑,清水友悟,谷口行信,日並遼太,石渡祥之佑
    • 学会等名
      映像表現・芸術科学フォーラム 2022
  • [学会発表] 映像と文章の類似度学習による作業映像のシーン分割2021

    • 著者名/発表者名
      林純平,山本洋太,谷口行信
    • 学会等名
      画像電子学会第297回研究会
  • [備考] 谷口研究室ホームページ

    • URL

      https://www.rs.tus.ac.jp/vml/

URL: 

公開日: 2022-12-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi