| 研究課題/領域番号 |
19K11985
|
|---|
| 研究機関 | 静岡理工科大学 |
|---|
研究代表者 |
工藤 司 静岡理工科大学, 情報学部, 教授 (90583782)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| キーワード | フォグコンピューティング / データベース / 深層学習 |
|---|
| 研究実績の概要 |
研究代表者は先行研究で，目視では数えられないバルクコンテナにおける在庫量を，深層学習を活用して画像から実用的な精度で推定ができることを示した．しかし，しばしば数千に及ぶコンテナを，1枚１枚撮影するのは現実的ではない。そこで，本研究では動画を活用してこの画像の収集を自動化するための，以下のフォグコンピューティング基盤に関する方式を実装，評価した。
第一は，フォグコンピューティングを活用した，動画からの対象の画像抽出方式である．端末側のデータベースに一次処理の中間結果や動画のダイジェストを保存することにより，データの再検索や一次処理結果の訂正においても，データ管理の効率化が可能になることを示した．また，深層学習では訓練データの収集に工数を要するが，本方式により大量の訓練データを動画から半自動的に蓄積できることを示した．
第二は，動画から抽出した画像に対する，深層学習を応用した画像認識の有効性評価である．本研究では，在庫の変動は作業者の入庫・出庫作業によることに注目し，作業者がウェアラブルカメラ（以下，カメラ）を装着して，作業の際にコンテナを「見る」動作だけでコンテナの情報を取集する方式を着想した．このためには，コンテナを自動的に識別することが必要である．これに対し，深層学習を活用して，上記の画像から対象を識別することが可能であることを示した．
第三は，実際の工場では環境の変化，すなわち時間の推移（昼間と夜間），天候などにより画像に差異が発生するという課題への対応である．本研究の中で，このような画像の差異は，深層学習を活用した推定で精度の劣化を招くことが分かった．そこで，環境の影響を受けないCG画像を基準とし，深層学習の敵対的生成ネットワーク（GAN）の一種であるCycle-GANを適用して実画像を変換する方式を着想，精度の改善が可能であることを示した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
2019年度は，フォグコンピューティング基盤の構築として，フォグノードの分散データベースをクラウドサーバから随時アクセスするために，以下の3つの機能の実装を計画していた．
第一は，多数のノード上のデータ管理機能である．例えば、ウェアラブルカメラを使用した場合には、データの収集時間や位置、方向などの属性情報が刻々と変化する。このような動画から対象データを効率的に検索するために，フォグノードのデータベースに一次処理の中間結果を保存し，これを活用することにより検索を効率化できることを示した．
第二は，データの履歴管理機能で，相互に関連するデータベースの整合性を効率的に維持する方式の構築である．これに関し，実世界の時間である有効時間と、システム内の時間であるトランザクション時間の両方を管理するバイテンポラルデータベースを応用し，集約と明細の関係にあるデータベースついて指定時刻現在の履歴データを検索することで，整合性のある検索が可能になることを示した．さらに，明細を更新しても，都度，集約データを再計算することが不要になり，効率化できることを示した．
第三のデータ検索機能については，2020年度に予定していた業務システムのプロトタイプに関し有効な着想が得られたため，こちらを優先した．これは，在庫管理システムを対象に監視カメラや作業者のウェアラブルカメラで動画を撮影し，動画から在庫棚の画像を抽出して，深層学習により在庫数を推定するものである．まず，回帰モデルを適用することにより実的な精度で効率的に推定できることを示し，次に，訓練データの作成を効率化するためCGにより訓練データを作成する方式と， Cycle-GANにより実環境御画像を均一のCG画像に変換することで推定精度を改善できることを示した．さらに，動画から在庫エリアへの入室を自動的に判定する方式を提案し，有効性を評価した．
|
| 今後の研究の推進方策 |
2020年度は，以下の2つの研究を推進する．第一は，2019年度に保留したデータ検索方式の構築であり，フォグノードのデータを抽出する際に，例えば，データの日時，センサの位置，方位の指定のみでフォグノードを意識することなくデータを検索できる方式の構築を図る．本方式の狙いは，クラウドサーバ側のアプリケーションソフトウェアが，各々のフォグノードを意識することなく，必要なデータを抽出できる検索基盤を提供することである．ここで，例えば，ウェアラブルカメラは随時，位置や方位が変動する．このため，2019年度に開発したフォグノードでの一次処理の中間結果を動画のダイジェストとして保存しておき，これを活用して対象データを検索する方式を構築し，評価する．
第二は，2019年度に一部を先行して開始した業務システムのプロトタイプ開発であり，2019年度に在庫エリアへの入室検知と在庫数の推定を実施した．2020年度は，まず，多数の種類のある在庫棚内の物品の識別方式の構築と評価を行う．ウェアラブルカメラによる作業時には，物品を手に取って移動したり，確認したりする作業が発生する．この段階で，手に取った物品を自動識別することで，在庫推定の対象を特定する．この結果により，対象の物品に応じて深層学習のモデルを入れ替え，推定精度の向上を図る．ここで，ウェアラブルカメラを使用する場合には，対象の画像を固定できず，また，背景が映り込むため，物品の抽出が困難であるという課題があることが分かっている．このため，背景から対象部品を分離し，より高い精度で識別できる方式を研究する．
また，CGを活用して訓練データを作成した場合の推定精度の改善はできたものの，実画像により訓練を行った場合に比較すると精度が低い．そこで，CGで訓練データを作成した場合にも，より高い精度で推定する方式を研究する．
|
| 次年度使用額が生じた理由 |
設備については，今年度は既存の設備が流用可能であったため，一部の購入を控えた．旅費については，新型コロナウィルスの流行に伴い，オンライン会議になったことによる差異が発生した．
設備は，今年度の研究の方向を早期に見極め，必要な設備を特定して購入する．旅費については，今年度も引き続き新型コロナの影響が大きいため，来年度に支出することも含め，状況に応じて時期を検討する．
|
| 備考 |
研究室のホームページに，本研究の成果を交えて実施した技術講演の資料を公開した．
|
