2020 Fiscal Year Research-status Report
Efficient transfer learning method by selecting feature extraction processing
| Project/Area Number |
17K00334
|
|---|
| Research Institution | Chiba University |
|---|
Principal Investigator |
矢田 紀子 千葉大学, 大学院工学研究院, 助教 (60528412)
|
|---|
| Project Period (FY) |
2017-04-01 – 2022-03-31
|
| Keywords | 畳み込みニューラルネットワーク / 深層学習 / 転移学習 / プルーニング |
|---|
| Outline of Annual Research Achievements |
近年，畳み込みニューラルネットワーク(CNN)によってコンピュータによる物体認識技術は人間と同等の精度を実現できるようになった．CNNで必要なメモリや計算のコストが増加しているが，計算性能が低い端末上でCNNを利用したいといった需要が増えている．一方で，CNNの高い画像認識精度を実現するために，大規模なデータセットで学習されたCNNを異なるタスクに適用する転移学習が多く用いられている．しかし，転移学習は，学習データセットが小規模なタスクに対しては十分な認識精度を実現できないことがある．例えば，医用画像から患部の有無を認識するような問題では，データセットの作成に専門的な知識が必要であるため，十分なデータ数の用意が困難であり，転移学習を適応できない．そこで，小規模データセットに対して転移学習を行い，目標のタスク分類に不要な畳み込みフィルタの評価と削除を行うpruningを利用して認識精度の向上と計算コストの削減を行う．本研究では，小規模な医療データセットに対してCNNが持つ必要のない畳み込みフィルタを特定し，置換することでより認識に影響を与える畳込みフィルタを作成し，高い認識精度を実現することを目的としてCNNが持つ低評価フィルタを高評価フィルタで置換する方法を提案した．提案手法を用いて潰瘍性大腸炎の疾患の2クラス分類問題に対して分類を行い，提案手法と一般の転移学習，置換を用いないpruning，置換せず重みを初期化する手法を比較した．比較手法の中で最も精度の良かったpruningが96.2％であったのに対して，提案手法は97.2％と上回る精度を示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
研究開始直後に約１年間の産前産後の休暇又は育児休業の取得に伴う研究中断があったため，研究計画を修正して平成30年度に初年度に行うべき研究を進め， １年間の研究期間延長を申請した．初年度は事前学習で得られたネットワークの畳み込み層にある畳み込みフィルタをフィルタ毎に取捨選択する手法の基本アル ゴリズムの開発を行う計画であり，平成30年度は当初予定していた進化計算手法に加えて強化学習を用いた手法についても検討を行い，基本アルゴリズムの開発と性能評価を実施できた．令和元年度は2年目の研究計画に従って，これまでに開発した提案手法を用いて，小規模訓練データセットに対する学習実験を行い， 提案手法の改良を行った．令和2年どには提案手法の改良と，実データとして小規模な医療データセットに対して適用実験を行ったが，感染症流行による計算機輸入の停滞と緊急事態宣言や学生の入講禁止措置の影響があり，大規模データに対する実験や研究成果発表に関して計画通り進めることができなかったため，１年間の研究期間延長を申請した．
|
| Strategy for Future Research Activity |
これまでは複数種類の小規模データセットを用いて提案手法の評価と改良を行なってきた．提案手法は小規模訓練データセットを用いても汎化性の高い学習を行えることを利点としているが，その性能の評価は大規模評価データセットを用いて行う必要がある．そのため，研究期間延長をした最終年度である今年度には大規模評価データセットによる提案手法の評価を実施する．
|
| Causes of Carryover |
感染症流行による計算機輸入の停滞により予定していた計算機の購入ができなかったことと，緊急事態宣言や学生の入講禁止措置の影響で予定していた人件費を必要とする実験等ができなかったこと，また参加を予定していた国内学会と国際学会がオンライン開催になり旅費が不要になったことを理由として，予定していた使用額を使用できなかった．また，同様の理由で研究計画にも遅れが生じたため１年間の研究期間延長を申請して認められたので，令和3年度に前年度使用予定であった目的に合わせて使用する．
|
Research Products
(3 results)
