技術者の認知・判断・行動プロセスに基づくハイパーマルチモーダル画像分類技術の構築

2020 年度 実施状況報告書

• 研究課題/領域番号: 20K19856
• 研究機関: 北海道大学
• 研究代表者: 前田 圭介 北海道大学, 総合IR室, 特任助教 (20798243)
• 研究期間 (年度): 2020-04-01 – 2024-03-31
• キーワード: 画像分類 / 生体情報 / 機械学習 / 解釈性 / 暗黙知 / 深層学習 / 信号処理 / マルチモーダル

研究実績の概要

AI技術の応用が期待される専門分野において，高い精度のみならず結果に対する確かな信頼性を有するモデルを構築することが本研究の目的である．このモデルの構築のためには，次の４点を組み込んだ機械学習理論の構築が必要である．【要点１】経験や知識の基となる情報を機械に入力可能な特徴へ変換するモデル．【要点２】経験や知識を表す生体特徴を抽出することで技術者に近い判断が可能なモデル．【要点３】画像分類で判断する際の判断根拠を技術者が理解可能な形で提示するモデル．【要点４】得られた結果が誤っていた場合に，効率よく再学習可能なモデル．そこで，本研究では，【解決策１】複数の技術者から得られる種々の生体情報からノイズ・個人差を除去．【解決策２】複数の技術者に共通する特徴を見出し，技術者の判断との間の因果関係を説明．【解決策３】判断・予想結果に対する判断根拠の可視化機構を導入．【解決策４】技術者からのフィードバック結果を用いたモデルパラメータの転移学習の４つの解決策により，上記要点を満たした新たな機械学習理論を導出する．

令和二年度では，【解決策１】に対応する【フェーズ１】複数の技術者から多種多様な生体情報の取得およびその特徴量化を実施した．具体的に，技術者から，視線・脳活動・動作などの生体情報と遂行業務に対する判断を取得した．さらに，技術者に共通する特徴を明らかにするために，複数の技術者から得られる生体データと遂行業務に対する判断との間の関連性について分析を実施した．これにより，一部の生体データがAI構築に特に有効であることが示唆され，これらのデータの特徴量化を行った．上述の研究によって得られた結果および関連する成果を信号処理・画像処理系の国内会議・国際会議において発表を行い，加えて，学会発表で得られた知見に基づき，手法を高度化することにより，学術論文誌にも採録された．

現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

実施計画では，令和二年度に【フェーズ１】複数の技術者から多種多様な生体情報の取得およびその特徴量化を実施することが目標であった．「研究実績の概要」で記述した通り，令和二年度では，得られた結果を学会等で発表するだけでなく，それらを高度化することで学術論文誌にも採録されていることから，当初の計画以上に進展していると言える．さらに，令和二年度に得られた結果を基に，被験者実験に協力頂いたインフラ維持管理企業の技術者と議論を行うことで，令和三年度以降に実施予定の【フェーズ２】生体特徴・専門画像・技術者の判断から因果推論可能なモデルの構築に資する新たな知見を得た．以上より，令和三年度以降の研究に先行着手し，研究の更なる発展が期待されることから，「（１）当初の計画以上に進展している．」と判断した．

今後の研究の推進方策

令和三年度以降の研究では，「研究実績の概要」に記載した【解決策２～４】に該当する以下の【フェーズ２～４】を実施する．【フェーズ２】生体特徴・専門画像・技術者の判断から因果推論可能なモデルの構築，【フェーズ３】構築したモデルの判断根拠の可視化，【フェーズ４】技術者からのフィードバックを再学習可能な転移学習モデルの構築を実施する．【フェーズ２】では，【フェーズ１】で変換した複数の熟練技術者からの生体特徴・専門画像・判断結果のハイパーマルチモーダルデータに対する相関分析理論を導出することで，経験や知識となる情報を技術者が共通に有する特徴として抽出する．【フェーズ３】では，【フェーズ２】で構築したモデルが予測するクラスの自信の度合いが大きい部分を推定可能な勾配計算理論を確立することで，モデルの判断根拠の可視化を可能とする．最後に，【フェーズ４】では，【フェーズ３】までに構築したAI技術を現場の技術者に利用してもらい，AIの出力結果および判断根拠に対するフィードバックをもらう．それらを新たな学習データとし，モデルパラメータの転移学習を行うことで，再学習を実現し，実運用に耐え得る持続的な利用を可能とする．以上の研究計画に則り，本研究を遂行する．

次年度使用額が生じた理由

本研究では，多様な生体データを導入した深層学習に基づく画像分類技術を実現することから，データ取得および構築する技術の性能評価のためのPC等が必要であった．しかしながら，本年度の研究において，生体データのみならず，遂行業務に対する技術者の判断理由の導入を検討することとなり，これらのデータに対応可能な，より性能の高いモデルを検討することとした．したがって，次年度使用とし，本年度の研究については自主財源で既に保持している機器の利用を行った．
また，コロナウィルスの影響による出張の延期等が生じたため，成果発表の時期を移動し，旅費等を次年度使用とする予定である．

研究成果

• [雑誌論文] SIMILAR INSPECTION DATA RETRIEVAL FOR ROAD STRUCTURE INSPECTION BASED ON CANONICAL CORRELATION BETWEEN EYE TRACKING DATA AND INSPECTION RECORDS (2020)
  • 著者名/発表者名: MAEDA Keisuke、SAITO Ryota、TAKAHASHI Sho、OGAWA Takahiro、HASEYAMA Miki
  • 雑誌名: Journal of Japan Society of Civil Engineers, Ser. F3 (Civil Engineering Informatics) 巻: 76 ページ: 74～86
  • DOI: 10.2208/jscejcei.76.1_74
  • 査読あり
• [雑誌論文] Deterioration level estimation via neural network maximizing category-based ordinally supervised multi-view canonical correlation (2020)
  • 著者名/発表者名: Maeda Keisuke、Takahashi Sho、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: Multimedia Tools and Applications 巻: - ページ: 1～22
  • DOI: 10.1007/s11042-020-10040-2
  • 査読あり
• [雑誌論文] Human-Centric Emotion Estimation Based on Correlation Maximization Considering Changes With Time in Visual Attention and Brain Activity (2020)
  • 著者名/発表者名: Moroto Yuya、Maeda Keisuke、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: IEEE Access 巻: 8 ページ: 203358～203368
  • DOI: 10.1109/ACCESS.2020.3036908
  • 査読あり / オープンアクセス
• [雑誌論文] Tensor-Based Emotional Category Classification via Visual Attention-Based Heterogeneous CNN Feature Fusion (2020)
  • 著者名/発表者名: Moroto Yuya、Maeda Keisuke、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: Sensors 巻: 20 ページ: 2146～2146
  • DOI: 10.3390/s20072146
  • 査読あり / オープンアクセス
• [雑誌論文] Multi-Task Convolutional Neural Network Leading to High Performance and Interpretability via Attribute Estimation (2020)
  • 著者名/発表者名: MAEDA Keisuke、HORII Kazaha、OGAWA Takahiro、HASEYAMA Miki
  • 雑誌名: IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences 巻: E103.A ページ: 1609～1612
  • DOI: 10.1587/transfun.2020SML0006
  • 査読あり
• [雑誌論文] Interpretable Convolutional Neural Network Including Attribute Estimation for Image Classification (2020)
  • 著者名/発表者名: Horii Kazaha、Maeda Keisuke、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: ITE Transactions on Media Technology and Applications 巻: 8 ページ: 111～124
  • DOI: 10.3169/mta.8.111
  • 査読あり
• [学会発表] Human emotion estimation using multi-modal variational autoencoder with time changes (2021)
  • 著者名/発表者名: Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
  • 学会等名: Global Conference on Life Sciences and Technologies
  • 国際学会
• [学会発表] 路面画像を用いた深層学習に基づく路面状態の分類に関する検討 (2021)
  • 著者名/発表者名: 諸戸 祐哉, 前田 圭介, 小川 貴弘, 長谷山 美紀
  • 学会等名: 映像情報メディア学会技術報告
  • 招待講演
• [学会発表] Attention Map を用いた道路構造物の変状画像分類におけるテキストデータの導入に基づく高精度化に関する検討 (2021)
  • 著者名/発表者名: 小川 直輝, 前田 圭介, 小川 貴弘, 長谷山 美紀
  • 学会等名: 映像情報メディア学会技術報告
• [学会発表] 地下鉄トンネル点検時の技術者から取得される視線およびモーションデータに基づく熟練度の推定に関する検討 (2021)
  • 著者名/発表者名: 赤松 祐亮, 前田 圭介, 小川 貴弘, 長谷山 美紀
  • 学会等名: 映像情報メディア学会技術報告
• [学会発表] 地下鉄トンネルの維持管理支援を目的とした深層学習に基づく変状検出の高精度化に関する検討 - 壁面の施工方法に注目した精度検証 - (2021)
  • 著者名/発表者名: 春山 知生, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀
  • 学会等名: 映像情報メディア学会技術報告
• [学会発表] Study on Automatic Diagnosis Algorithm for Transmission Equipment Using AI Technology (2020)
  • 著者名/発表者名: Takuya Inoue, Toshikazu Teshigawara, Yusuke Yamauchi, Sakae Taniguchi, Takahisa Ono, Hiroshi Hamada, Hiroyuki Miyoshi, Fumito Minoura Tomoki Kitashima, Masahito Hashimoto, Masashi Iwaki, Yuka Saito, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
  • 学会等名: CIGRE - AORC Technical Meeting
  • 国際学会
• [学会発表] Estimation of person-specific visual attention via selection of similar persons (2020)
  • 著者名/発表者名: Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
  • 学会等名: International Conference on Consumer Electronics-Taiwan
  • 国際学会
• [学会発表] 路面画像を用いた異常検知に基づく路面状態の識別に関する検討 (2020)
  • 著者名/発表者名: 諸戸 祐哉, 前田 圭介, 小川 貴弘, 長谷山 美紀
  • 学会等名: 令和2年度 電気・情報関係学会北海道支部連合大会
• [学会発表] RICAPに基づくデータ拡張による地下鉄トンネルにおける変状検出精度の向上に関する検討 (2020)
  • 著者名/発表者名: 春山 知生, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀
  • 学会等名: 令和2年度 電気・情報関係学会北海道支部連合大会
• [備考] 北海道大学大学院情報科学研究院メディアダイナミクス研究室 研究室メンバー
  • URL: https://www-lmd.ist.hokudai.ac.jp/member/maeda/