2022 Fiscal Year Annual Research Report
| Project/Area Number |
22J13178
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | University of Fukui |
|---|
Principal Investigator |
GU CHUNZHI 福井大学, 大学院工学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2022-04-22 – 2024-03-31
|
| Keywords | 鮮度判定 / 画像認識 / 画像分割 / 機械学習 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
魚類画像のみを用いた非侵襲かつ非接触な魚類鮮度判定手法の開発を行った。具体的には、魚類画像を深層ニューラルネットワークに入力し、深層特徴量を抽出する。その特徴量に基づき魚類の鮮度を推定する。従来法に比べ、本システムの全工程はAIに完結し、魚体を触れずに迅速に鮮度を判定することが可能である。
実応用において、ユーザーが撮影した魚類画像の品質は照明条件の影響を激しく受ける課題を考慮して、今年度は最初に、照明状況に頑健な魚体領域抽出法を提案した。本手法は深層学習を用いた画像再照明法を魚類画像に適用し、多様な照射角度からの再照明画像を人工的に生成するにより、本来の魚類画像セットに対してデータ拡張を行った。拡張後のデータセットを用いて再度学習した分割モデルは照明状況に対する頑健性を得られたことを確認し、その成果を国内会議で発表した。また、鮮度判定に必要な色転写手法を新たに改良し、風格が異なる転写画像の生成を実現した。その成果を国際会議で口頭発表した。これらの手法を踏まえて、魚類画像のみを用いる鮮度法システムの開発を行い、その有効性を確認できた。その成果を国際シンポジウムで発表した。
加えて、関連する画像分割アルゴリズム、マルチモーダル回帰アルゴリズム、物体検出アルゴリズムを複数提案した。これらの研究成果について、国際ジャーナル論文1編、国内会議において2件、国際シンポジウムにおいて3件を発表した。以上が本年度の研究実績の概要である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度では、魚類画像に対して再照明を用いたデータ拡張法を提案し、本来の画像の情報を損傷せず多様な照明方向での再照明画像を学習データセットに導入した。そのため、分割モデルは照明条件に頑健な魚体領域抽出を実現できた。ユーザーが実際に魚類画像を撮影する環境の照明条件は未知であるため、本手法の開発は鮮度判定にとって非常に重要だと考えられる。また、ユーザーが使用するカメラのメーカーの違いにより、獲得した魚類画像の風格や色合いが異なるという問題に対して、混合ガウスモデルによる色転写手法を開発し、ユーザーが指定した色合いへの画像変換を可能とした。照明・色合いを考慮した前処理を魚類画像に行い、高品質な画像に対して深層分類モデルを適用することにより魚類の鮮度判定を実現できた。その結果、画像のみを用いた非接触・非侵襲な魚類鮮度判定の実現にはある程度達成していると言える。また、ジャーナル論文1編、国際会議論文1編、国内会議発表3件などの成果をあげている。以上の理由から、おおむね順調に進展していると判断した。
|
| Strategy for Future Research Activity |
本研究課題は、現段階においての実装方式は魚類画像を直接入力としてみなし、鮮度を予測している。しかしながら、魚類鮮度の細かいレベルでの変化は魚体の外見のみから判断することは非常に困難であると考えられる。そのため今後は、計画当初に考案した「魚眼領域を活用」という視点で鮮度判定の精度向上を目指す。具体的には、魚眼の見た目は魚類の鮮度の変化にセンシティブという知見に基づき、まず魚眼領域のみを分割し、その後深層ニューラルネットワークを用いて特徴を抽出する。特徴抽出の手法として注意機構などのモジュールの導入も視野に入れる。また、画像全体よりの大域的な特徴、及び魚眼領域の局所的な特徴を統合させ、高精度な鮮度判定を目的として研究を推進していく。
|
