2021 Fiscal Year Research-status Report
技術者の認知・判断・行動プロセスに基づくハイパーマルチモーダル画像分類技術の構築
| Project/Area Number |
20K19856
|
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
前田 圭介 北海道大学, 総合IR室, 特任助教 (20798243)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 画像分類 / 生体情報 / 機械学習 / 解釈性 / 暗黙知 / 深層学習 / 信号処理 / マルチモーダル |
|---|
| Outline of Annual Research Achievements |
AI技術の応用が期待される専門分野において，高い精度のみならず結果に対する確かな信頼性を有するモデルを構築することが本研究の目的である．このモデルの構築のためには，次の４点を組み込んだ機械学習理論の構築が必要である．【要点１】経験や知識の基となる情報を機械に入力可能な特徴へ変換するモデル．【要点２】経験や知識を表す生体特徴を抽出することで技術者に近い判断が可能なモデル．【要点３】画像分類で判断する際の判断根拠を技術者が理解可能な形で提示するモデル．【要点４】得られた結果が誤っていた場合に，効率よく再学習可能なモデル．そこで，本研究では，【解決策１】複数の技術者から得られる種々の生体情報からノイズ・個人差を除去．【解決策２】複数の技術者に共通する特徴を見いだし，技術者の判断との間の因果関係を説明．【解決策３】判断・予想結果に対する判断根拠の可視化機構を導入．【解決策４】技術者からのフィードバック結果を用いたモデルパラメータの転移学習の４つの解決策により，上記要点を満たした新たな機械学習理論を導出する．
令和３年度では，【解決策２，３】に対応する【フェーズ２】生体特徴・専門画像・技術者の判断から因果推論可能なモデルの構築，【フェーズ３】構築したモデルの判断根拠の可視化に関する研究を実施した．具体的に，【フェーズ１】で取得した複数の技術者の生体特徴とその技術者が熟練であるか否かを表す情報を用い，技術者が共通に有する特徴を算出可能なモデルを構築した．さらに，モデルが予測するクラスの自信の度合いが大きい部分を推定可能な勾配計算理論を確立し，判断根拠を可視化する深層学習モデルを構築した．上記研究で得られた結果と関連成果を信号・画像処理系の国内会議・国際会議において発表した．さらに，学会発表で得られた知見に基づき，手法を高度化することにより，学術論文誌にも採録されている．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
実施計画では，令和３年度～令和５年度に【フェーズ２～４】を実施することが目標であった．その中で，令和３年度に【フェーズ２，３】に関する研究を遂行し，「研究実績の概要」で記述した通り，得られた成果の学会発表に加えて，それらを高度化することにより，学術論文誌にも採録されている．このことから，当初の計画以上に進展していると言える．さらに，【フェーズ４】では，構築したAI技術を現場の技術者に利用してもらう必要があるが，こちらに関して，実験に協力頂いているインフラ維持管理企業と連携し，活用に向けた準備を進めている．したがって，研究開始２年で【フェーズ４】にまで着手し，研究のさらなる発展が期待されることから，「（１）当初の計画以上に進展している．」と判断した．
|
| Strategy for Future Research Activity |
令和４年度以降の研究では，「研究実績の概要」に記載した【フェーズ２，３】の高度化を実施する．【フェーズ２】生体特徴・専門画像・技術者の判断から因果推論可能なモデルの高度化，および【フェーズ３】構築したモデルの判断根拠の可視化に関する技術の高度化を実施する．これらは，令和３年度で構築したモデルを基に，分類精度向上の観点から高度化を試みる．さらに，【解決策４】に該当する【フェーズ４】技術者からのフィードバックを再学習可能な転移学習モデルの構築に向けた研究を実施する．具体的に，また，【フェーズ４】では，【フェーズ３】までに構築したAI技術を現場の技術者に利用してもらい，AIの出力結果および判断根拠に対するフィードバックをもらう．それらを新たな学習データとし，モデルパラメータの転移学習を行うことで，再学習を実現し，実運用に耐え得る持続的な利用を可能とする．以上の研究計画にのっとり，本研究を遂行する．
|
| Causes of Carryover |
本研究では，多様な生体データを導入した深層学習に基づく画像分類技術を実現することから，データ取得および構築する技術の性能評価のためのPC等が必要であった．本年度の研究において，研究開始当初に予定していたデータ取得実験に加えて，別のインフラ維持管理企業とのデータ取得実験を検討することとなり，これらの多様なデータに対応可能な，より性能の高い機器を検討することとした．したがって，次年度使用とし，本年度の研究については，自主財源で既に保持している機器の利用を行った．
また，新型コロナウィルス感染症の影響による出張の延期等が生じたため，成果発表の時期を移動し，旅費等を次年度使用とする予定である．
|
