| 研究課題/領域番号 |
20K12115
|
|---|
| 研究機関 | 東京理科大学 |
|---|
研究代表者 |
谷口 行信 東京理科大学, 工学部情報工学科, 教授 (70759422)
|
|---|
| 研究分担者 |
古田 諒佑 東京大学, 生産技術研究所, 助教 (20843535)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2023-03-31
|
| キーワード | 人間参加型機械学習 / Human-in-the-loop / 弱教師あり学習 / 技能伝承 |
|---|
| 研究実績の概要 |
製造業・看護など様々な業界において，熟練者から初心者への技能伝承，組織内でのノウハウ共有が重要な課題となっている．言語化が難しい技能やノウハウを共有する手段として「映像」が有効であるが，組織内で映像を共有する前に最低限の編集（映像のシーンにコメントや注釈を付与する作業）は必要であり，素人にとって心理的ハードルが高いという問題がある．本研究の目的は，素人が撮影した作業映像を画像認識により自動的に組織化，具体的には，映像を意味的なシーンに分割しタグを付与することで，技能伝承・ノウハウ共有を促進することである．
2020年度は以下の検討を行った：(1) 弱教師付き学習による画像への自動タグ付け： 弱教師付き学習に基づくHuman-object interaction検出（以下，HOI検出）の手法を開発した．HOI検出とは，画像内に含まれる「人」と「物」の位置と，両者の「関係」を推測する画像認識タスクであり，例えば，人が「ボール」を「持つ」，「馬」に「乗る」といった関係を推論するものである．人・物体の外接矩形を教師データとして付与することなく，動作ラベルのみからHOI検出を学習する．物体候補領域を絞り込むことで，教師あり学習に近い精度でHOI検出が可能であることを示した．(2) 画像認識結果の能動的提示・ユーザフィードバックによる弱教師あり学習：作業映像の時系列アライメントのタスクに対して，映像からランダムに抽出したシーンを能動的にオペレータに提示し，動画一対比較の結果を画像表現学習にフィードバックすることで，従来の作業手順に比べてアノテーション作業時間が短縮することを小規模な被験者実験で確認した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
予定どおり，画像認識結果の能動的提示・フィードバックを用いた弱教師あり学習手法の検討が進捗している．精度向上や作業時間短縮の効果を示し，国内・国際会議での発表も行った．当初計画どおり映像解析用実験環境の整備も完了している．
|
| 今後の研究の推進方策 |
今後は，2020年度に検討したHOI検出，時系列アライメント以外のタスクに，画像認識結果の能動的提示・フィードバック，弱教師有り学習のフレームワークを拡張予定である．現在は料理映像の公開データセットを使用しているが，より現実的な実験・評価のためのデータセット整備についても検討していく．
|
| 次年度使用額が生じた理由 |
国内学会・国際会議参加の旅費を支出する計画であったが，新型コロナウィルス感染拡大に伴い会議がオンライン開催となり旅費の支出がなくなったため，未使用額が生じた．このため，未使用額は次年度以降の学会発表の旅費に充てる予定である．
|
