2021 Fiscal Year Research-status Report
Data Integration and Collection of Skilled Agricultural Producers' Knowledge and Experience by using Interactive Smart Devices
| Project/Area Number |
20K11787
|
|---|
| Research Institution | Shinshu University |
|---|
Principal Investigator |
小林 一樹 信州大学, 学術研究院工学系, 教授 (00434895)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
青柳 悠也 信州大学, 先鋭領域融合研究群社会基盤研究所, 助教(特定雇用) (20882195)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | スマートデバイス / 深層学習 / データ拡張 / 農作業記録 |
|---|
| Outline of Annual Research Achievements |
本研究では，環境データ，植物データ，生産者データの統合と活用による生産の効率化と安定化とを目指し，スマートデバイスが対話的に生産者から経験知を引き出す自動収集システムを実現することが目的である．研究期間全体での具体的な実施内容は (a) 対話的スマートデバイスの開発と包囲網の構築，(b) ナッジ理論を応用した生産者からの経験知収集，(c) 機械学習における訓練データとして利用可能にするデータ統合であり，2021年度はそれぞれ下記に示す研究を実施した．
(a)に関しては，スマートスピーカとPCを連動させ，ボタン操作をはじめとするユーザによる操作なしにリアルタイムで連続的な対話を実施するシステムを構築した．
(b)に関しては，自動的に発話を生成する対話的作業記録システムを開発し，実験室における参加者実験を実施した．対話的作業記録システムは，音声認識，発話理解，作業記録，行動決定，発話生成，音声合成といったモジュールから構成され，ユーザが作業中に自動的に話しかけ，その返答内容から作業記録に必要な情報を抽出して記録するとともに，共感的発話を行うことでシステムへの返答の心理的障壁を低減させる．参加者実験では10名が参加し，システムから繰り返される作業に関する約50回の質問に対して98%以上の回答率を得た．
(c)に関しては，前年度に引き続き，高精細農園モニタリングシステムによって収集した画像データから果実領域を自動認識するための訓練データ生成手法の開発に取り組み，認識精度を向上させた．農園を模倣した人工的な機械学習用の訓練データを大量かつ自動的に生成し，切り抜き画像による訓練データによって，適合率99%，再現率30%，IoU平均71%の結果を得た．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
新型コロナウイルス感染症対策の影響で，通常の研究室の運営が困難であるとともに，現地への出張が制限され，実験や設計が困難であった．
|
| Strategy for Future Research Activity |
今年度開発した対話システムでは，遅いレスポンスや利用者の飽きが問題となる可能性が示唆された．レスポンスを高める手法やデバイス選定を検討するとともに，同期的な音声対話だけでなく，非同期的な文字による対話の有効性についても検討していく．高精細モニタリング画像を対象とした機械学習に関しては，継続して認識器の開発を行うと同時に，対話システムによって収集した作業データとの統合を実施する．
|
| Causes of Carryover |
2020年度に引き続き，2021年度も新型コロナウイルス感染症対策の影響が大きく，協力農家と現地に合わせたシステム設計のための十分な議論や現地での実験が実施できなかった．未完了な事項に関しては2022度において現地の状況に合わせて検討しつつ柔軟に対処する．
|
