|
初年度の取り組みとして，「農作業技術継承マニュアル自動合成システム」を作成した．本システムでは既にサーバに存在する類似の作物のWEBマニュアル同士を組み合わせることにより，新たな作物のためのマニュアルを合成することができる．一般にマニュアルの整備には多くの手間と労力が必要となる．そこで，葉物野菜，根菜類，果樹など，各分類ごとに基本となるマニュアルのみをまず整備し，栽培技法が類似する作物に関しては，本システムにより，代替えマニュアルを作成するためのシステムをまず構築した．
2年目以降については，アイカメラからの暗黙知の自動表出を行う研究について取り組んだ．アイカメラを用いた農作業技術継承マニュアル作成時には，レトロスペクティブ法を用いた営農者へのヒアリングが必要となる．しかし，これまでの研究ではインタビューアーの聞き取りスキルの違いにより，暗黙知の表出数に差が生じていた．そのためマニュアルの出来栄えがインタビューアーの聞き取りスキルの違いに左右されるという問題点があった．そこでこの問題点を解決するために，私たちはMask R-CNNを用いた農作業技術継承マニュアル自動生成手法について検討した．本提案手法を用いることで，Mask R-CNNにより撮影画像中の物体を認識することができ，アイカメラから得られる視線データと合わせて，注視物体を自動でテキストデータに起こすことができる．現在は，デフォルトの80種類の物体についてのみ，認識を行うことが可能であるが，新たな画像を学習させることもできる．
|
