| Project/Area Number |
22K12077
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | University of the Ryukyus |
|---|
Principal Investigator |
野崎 真也 琉球大学, 工学部, 准教授 (00390568)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2024: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2023: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2022: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
|
|---|
| Keywords | 深層学習 / コドラート / GAN / SCORE-CAM / コドラート画像 / 基質判別 / CNN |
|---|
| Outline of Research at the Start |
本研究では、環境保全の調査等で必要となる海底の画像内の基質を自動判別する手法を開発することを目的とする。これまでは実際には数万点以上を目視で判別しなければならず、膨大な時間を要することが問題であった。
そこで、本研究ではCNNに基づいた海底画像の基質自動判別を行う。現在開発済みであるCNNベースの手法について問題点の抽出・その解決、そしてScore-CAMの導入および併用などにより現在のネットワーク・アルゴリズムの改良を行い、最終的には全画素について自動判別を行い、迅速かつ環境保全学で信頼度の高い結果を得ることが目標となる。
|
| Outline of Annual Research Achievements |
海底の画像内から基質（主にサンゴや岩）の判別を行うために、深層学習をベースにした研究を行う。
海底の画像のために、画像が鮮明でない点、基質の形状が複雑である、学習用画像の数が十分ではない、などの問題点を踏まえて、GANを用いて学習用画像を増やし、かつScore-CAMを用いて判別の可視化を行った。
GANを用いた際にはDCGANおよびStyleGAN-ADAを用いて実験を行い、DCGANは本研究には有用でないことが確認され、StyleGAN-ADAでは有用であることが確認された。FIDで本研究により得られた画像について定量的な評価は行い有用である傾向は確認されたが、目視による評価と異なる点も散見された。今後は定量的な評価と目視の評価について総合的に評価を行う。
また、CAMによる可視化については、当初からCAMの中からScore-CAMが適していると見込んでいたが、他のCAMの結果とも確認し、他のCAMとは有意な差は見られなかったためにScore-CAMを用いることは再確認した。また、CAMに関しては画像の輪郭情報の取り扱いがポイントになるので、統計的に輪郭情報を扱えるICAの併用も検討し実験を行った。その結果、ICAと併用しつつカラー情報もハイブリッドで行うことで有用な可視化ができることを確認した。しかし、CAMを用いた実験に関してCNNの学習プロセスおよびデータセットについては改善の余地があり、これらを改善した上で再実験を行う予定である。
現時点での最善のモデルで基質判別の2次元化（各々の点での判別ではなく面としての判別）を行った。画像内のエリアによって判別精度に差が見られた。現在のモデルをより安定的に判別できれば判別に有用であることが確認された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
GANを用いる際に、DCGANおよびStyleGAN-ADAによる結果が大きな差を生じたことと、従来の定量的評価および目視による評価が大きかった点で時間を要したが、総合的な評価まで行えば有用な手法として期待できる。
DCGANについては、すべての結果が解像度が十分でないことが確認された。一方でStyleGAN-ADAについては、枝状サンゴ、被覆状サンゴ、ソフトコーラルなどのすべての形状について概ね有用であることが確認された。海底画像特有の緑色に見える部分について十分ではないものの、チューニングで解決であると見込んでいる。
CAMについては、当初からScore-CAMを用いる予定ではあったが、他のCAMを適用してその結果を確認の上で詳細部分のアプローチを検討するという計画で着手した。他のCAMとも比べて大きな有意な差が確認できたため、Score-CAMを用いることになった。この手法が画像の輪郭情報がポイントになっているので、統計的に輪郭情報を扱える独立成分分析(ICA)を用いた上で可視化する方が適切ではないかと研究を進める上で新たなアイデアとして浮上し、カラー画像も適切に用いることで結果が得られることが確認された。しかし、ICAも併用した手法で、深層学習部分でのモデル構築についてカテゴリ分けなどについて多くの時間を要した。
現時点での最善のモデルで基質判別の2次元化（各々の点での判別ではなく面としての判別）を行った。画像内のエリアによって判別精度に差が見られた。特に被覆状サンゴの部分と枝状サンゴ、岩などの基質によって差が大きく生じたので、安定的に判別の精度が求められる。また、周辺画素の取り方についても改善の余地があり、その検討に時間を要している。
|
| Strategy for Future Research Activity |
DCGANおよびStyleGAN-ADAを用いた枝状サンゴの画像生成およびその評価については、学会発表済みである。枝状サンゴや被覆状サンゴや岩などの他の基質については結果は得られているが、まとめている段階なので2024年度に発表予定である。StyleGAN-ADAの手法については、海底独自の色合いも考慮すれば更なる精度向上が見込めるので取り組む。
ICAを併用した方法は可視化した画像について定量的な評価を盛り込む。これまでの結果もまとめている段階であり、2024年度に発表予定である。また学習モデルの構築についても再検討を行い、基質判別に適した学習モデルを構築する。この結果についてもこれまでに得られた結果をまとめつつ、上記２点の改善を行い質もしくは精度の向上を確認した後に、面としての基質判別を行う。判別を行う画像について、クリアな画像や海水による劣化した画像、多くの基質が含まれている画像や基質が少ない画像などに分け評価を行う。それにより、本手法がどの種類の画像について精度が異なるかを定量的に確認することで、さらなる改善点を見つける。
上記が内容を達成した際には、更なる高度化・実用化を目指して新たな海底画像を取得して実験を行う。その際には天候・時間などの条件も複数用意して本手法の性能評価に用いる。
|
