2020 Fiscal Year Research-status Report
Development of fog computing infrastructure with distributed database
| Project/Area Number |
19K11985
|
|---|
| Research Institution | Shizuoka Institute of Science and Technology |
|---|
Principal Investigator |
工藤 司 静岡理工科大学, 情報学部, 特任教授 (90583782)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | フォグコンピューティング / データベース / 深層学習 |
|---|
| Outline of Annual Research Achievements |
研究代表者は先行研究で，目視では数えられないバルクコンテナにおける在庫量を，深層学習を活用して，画像から実用的な精度で推定ができることを示した．しかし，実際の工場でコンテナはしばしば数千に及ぶため，1枚１枚撮影するのは現実的ではない。本研究の狙いは，連続的に撮影された動画を活用して，この画像の収集を自動化することである．この課題に対して，2019年度に，フォグコンピューティング基盤として，動画の一次処理を行うためのデータベースの構成と，動画から自動的に対象画像を抽出する方式を示した．
2020年度は，この成果を応用し，以下の2つの研究を行った．第一は，工場内の移動や作業，すなわちコンテナのエリアへの入室や，対象コンテナ，対象部品の自動判別である．動画から自動抽出した該当の画像を訓練データとして，深層学習の多クラス分類モデルを訓練し，これを使用して同様に抽出した判別対象画像から，現在の所在や対象部品が推定できることを示した．さらに，動画を活用して，１つの対象に対し繰り返し推定を行うことで，推定制度が向上できることを示した．
一方で，作業対象部品が小さい場合には，画面内の背景が影響し，精度の劣化を引き起こすことが分かった．そこで，第二として，入庫，出庫などの在庫管理作業では対象部品を手に取ることに注目し，オプティカルフローを活用して対象の物体を背景から抽出する方式を示した．オプティカルフローはビデオのフレーム間における，対象の動きの速度を計算したものであり，手に取った部品と背景では動きが異なることを活用している．さらに，背景として画像の周辺部分を採用することで，連続的に撮影したビデオからも自動的に対象の部品を抽出できることを示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では， (1) フォグコンピューティング基盤の構築，(2) 業務システムの視点からのこの基盤の機能の個別評価，(3) 業務システム運用の視点からの基盤の有効性評価，を計画している．評価対象としては，研究代表者が知見を有する在庫管理システムのうち，特にバルクコンテナを対象としている．この計画に基づき，2019年度には，動画から一次処理として処理すべき画像（フレーム）の自動抽出や，これらの動画あるいは一次処理結果を保存するためのデータベースを含む，フォグコンピュータ基盤の構築を行った．
また，2020年度には，作業者が装着するウェアラブルカメラを装着する環境を想定し，連続撮影した動画を使用した機能を構築した．さらに，作業者の在庫棚の領域への侵入や，棚や物品の識別など，業務を想定した実験を通じて，作業者の位置や対象の物品などの，一連の判別が一定の精度で行えることを示した．このうち，業務システムの個別機能としては，手に持った物体の自動検出があり，これによりウェアラブルカメラで連続撮影した動画から，自動的に対象の物体を検出できることを示した．また，運用面では，この機能により，在庫管理の情報をウェアラブルカメラの動画として自動収集し，必要な情報を抽出できることを示した．
すなわち，業務システムの視点から，基盤の個別機能や運用面の評価を実施しており，当初の計画の大枠の部分は達成できていると考える．一方で，各々の個別機能の点では，いくつかの課題が明らかになっている．具体的には，棚の上の静止した物体の自動判別の構築がある．また，深層学習を応用するための訓練データ生成に，CGを活用する方式を提案しているが，この方式による推定精度の劣化が課題になっている．これらは，2021年度の課題として研究を進めることを計画している．
|
| Strategy for Future Research Activity |
2021年度は，2020年度に明らかになった2つの研究を推進する．第一の静止した物体の検出については，物体の輪郭を抽出することにより，物体検出を行う方式の構築を試みる．これにより対象の物体を，画像処理のテンプレートマッチングや，深層学習の多クラス分類など，様々な手法で自動的に判別できるようにすることを狙う．具体的な手法としては，敵対的生成ネットワーク（GAN）の適用を試みる．すなわち，通常の対象の画像に対して，輪郭を強調した偽画像を生成するモデルを構築し，このモデルから輪郭を強調した画像を生成し，輪郭の検出を容易にする方式を試みる．さらに，この方式で推定した対象物の判別実験により，有効性を評価するとともに，ウェアラブルカメラで連続撮影した動画を使用した場合の精度を評価する．
第二のCGを活用した訓練データの生成については，Cycle-GANを適用することにより実画像をCG画像に変換することで，一定の精度を得られることを示している．すなわち，CG画像で訓練したモデルに対し，推定用データとしてビデオの画像を直接入力するのではなく，一旦，CG画像に変換することで訓練データと推定用データの差異を小さくし，精度を向上できることを示した．しかし，実際の画像のみで訓練と推定の両方を行う場合に比較すると，精度が劣化するという課題がある．そこで，Cycle-GANのモデルに在庫推定を行うモデルを識別器として組み込み，その損失をフィードバックして訓練する方式を試みる．このCycle-GANのモデルで，実際の画像を偽CG画像に変換したものを，上記の推定モデルの入力として使用した場合の推定精度および有効性を評価する．
以上の研究により，フォグコンピューティングの基盤が，実際の運用においても活用しやすいものとなることを狙う．
|
| Causes of Carryover |
学会発表として，2件の国際会議，および1件の国内学会で発表を行った．また，国内学会では，情報収集のための聴講参加も行った．当初計画では，これらは会場での発表，聴講を計画していた．しかし，新型コロナの影響により，全てオンラインでの開催になったため旅費が発生しなかったこと，および国際会議では参加費が値下げされたことにより，経費に差異が発生した．
|
