2019 Fiscal Year Annual Research Report
Proposed of farm work technique inheritance manuals using eye camera
| Project/Area Number |
16K07929
|
|---|
| Research Institution | Kagawa National College of Technology |
|---|
Principal Investigator |
村上 幸一 香川高等専門学校, 電気情報工学科, 准教授 (40370035)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
白石 和章 鳥羽商船高等専門学校, その他部局等, 准教授 (40442454)
|
|---|
| Project Period (FY) |
2016-04-01 – 2020-03-31
|
| Keywords | 技術継承 / アイカメラ / 深層学習 |
|---|
| Outline of Annual Research Achievements |
初年度の取り組みとして，「農作業技術継承マニュアル自動合成システム」を作成した．本システムでは既にサーバに存在する類似の作物のWEBマニュアル同士を組み合わせることにより，新たな作物のためのマニュアルを合成することができる．一般にマニュアルの整備には多くの手間と労力が必要となる．そこで，葉物野菜，根菜類，果樹など，各分類ごとに基本となるマニュアルのみをまず整備し，栽培技法が類似する作物に関しては，本システムにより，代替えマニュアルを作成するためのシステムをまず構築した．
2年目以降については，アイカメラからの暗黙知の自動表出を行う研究について取り組んだ．アイカメラを用いた農作業技術継承マニュアル作成時には，レトロスペクティブ法を用いた営農者へのヒアリングが必要となる．しかし，これまでの研究ではインタビューアーの聞き取りスキルの違いにより，暗黙知の表出数に差が生じていた．そのためマニュアルの出来栄えがインタビューアーの聞き取りスキルの違いに左右されるという問題点があった．そこでこの問題点を解決するために，私たちはMask R-CNNを用いた農作業技術継承マニュアル自動生成手法について検討した．本提案手法を用いることで，Mask R-CNNにより撮影画像中の物体を認識することができ，アイカメラから得られる視線データと合わせて，注視物体を自動でテキストデータに起こすことができる．現在は，デフォルトの80種類の物体についてのみ，認識を行うことが可能であるが，新たな画像を学習させることもできる．
|
