2021 Fiscal Year Annual Research Report
Theory for unified expression of recognition mechanisms and its application to machine learning
| Project/Area Number |
20H04206
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
山下 幸彦 東京工業大学, 環境・社会理工学院, 准教授 (90220350)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
杉山 将 東京大学, 大学院新領域創成科学研究科, 教授 (90334515)
田中 聡久 東京農工大学, 工学(系)研究科(研究院), 教授 (70360584)
鷲沢 嘉一 電気通信大学, 大学院情報理工学研究科, 准教授 (10419880)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 認識機構 / ファイバー束 / パターン認識 / 機械学習 / 脳信号処理 / オンライン教育 |
|---|
| Outline of Annual Research Achievements |
ファイバー束による認識機構を統一的・幾何学的に表現する理論の構築に関して，四元数を二つ組み合わせることにより，ディラック行列を含むことができる空間をファイバーとするファイバー束に関して研究し，共変微分などの定義を与え，そのファイバー束における局所等方独立方程式に関して検討を行った。
画像マッチングの応用に関して，シーン画像における画像マッチング問題に対する，領域特徴量に基づく初期探索法と大域的射影変換マッチング法を組み合わせた領域画像マッチング法をＧＰＵ上に実装した。ＧＰＵ上に実装したことによって，１０倍程度高速化できることを計算機実験によって確認した。
また，深層学習を始めとする各種の機械学習アルゴリズムの雑音に対する過適合のメカニズム解明に関して，補ラベル分類と呼ばれる弱教師付き学習問題におけるラベル雑音の分析を行い，損失関数を適切に設計することによりラベル雑音の影響を打ち消すことができることを明らかにした。また，正ラベルとラベルなしデータからの分類問題において，クラス事前確率シフトと呼ばれる環境変化のもとでも効率よく学習するための方法の予備的な検討を行った。
機械学習によるマルチセンサ信号の分類に関して，計測した個体ごとにデータの分布が異なる問題に対応するため，リーマン多様体上の平行移動による教師なしドメイン適応手法を検討し，ターゲットドメインからリーマン距離の近いソースドメインの中心点に向けて，ソースデータとターゲットデータの双方を平行移動させることで，モデルを能動的に訓練する仕組みを提案した。
定常視覚刺激誘発型脳コンピュータインターフェースに関して，提示周波数によるコマンド数の制約を緩和するために，複素畳み込みニューラルネットワークを用いる手法を提案し，従来の手法では分離できない提示周波数においても識別できることを示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ファイバー束による認識機構を統一的・幾何学的に表現する理論の構築に関して，関数表現に有理カーネル関数を使った局所等方独立方程式の解法に関しても研究を続けているが，解の一意性が欠如している問題から，研究の進展が遅れている面もある。しかしながら，四元数の空間を複数組み合わせた空間を考えることにより，ディラック行列を含む空間を考えることもできるようになり，表現できる範囲を広げたファイバーによるファイバー空間の理論を構築した他，深層学習への応用に関しても研究を開始し，ニューラルネットワークの損失関数への付加項を考案するなど，当初の計画にない進展も得られている。
シーン画像における画像マッチングに関して，マッチング精度がＡＳＩＦＴ＋ＲＡＮＳＡＣによる方法より高く，テンプレート画像から得られる特徴点が少ない場合でもマッチング可能であり，ＣＰＵ上で実装した場合の計算時間がＡＳＩＦＴ＋ＲＡＮＳＡＣによる方法とほぼ同等である汎用的に利用できる画像マッチング手法を実用レベルで確立した。さらに，ここで開発した計算アルゴリズムは，他の目的でも利用可能であり，例えば，パスバンド幅に計算量が依存しない再帰型ＦＩＲバンドパスフィルタの理論を構築し，その設計例としてパスバンド幅を0.0471π(rad)から0.000471π (rad)と1/100にしても，計算時間が10%程度しか増加しないフィルタを示している。
また，機械学習アルゴリズムにおいて雑音が引き起こす過適合のメカニズム解明，クラス事前確率シフトにおいて学習効率を向上させる手法の発案，生体信号処理のマルチセンサ信号の分類においてリーマン多様体の平行移動を利用する教師なしドメイン適応理論の構築，複素畳み込みニューラルネットワークにおいて絶対値関数を利用する活性化関数の提案を行うなどしており，研究はおおむね順調に推移していると考えられる。
|
| Strategy for Future Research Activity |
ファイバー束による認識機構を統一的・幾何学的に表現する理論の構築に関して，本理論では，ファイバー束の切断を認識機構と見なす。したがって，切断に対する確率密度関数や損失関数を考えるためには，切断の汎関数を扱うことができる理論が必要になる。その理論の中で，切断の汎関数の微分の定義を検討する。切断の汎関数の微分は，ファイバー束の底空間の性質が反映できるものでなければいけない。そのような微分を一般の汎関数微分を拡張する形で実現することを考える。さらに，その切断の汎関数の微分を用いた局所等方独立方程式の性質を調べる。
本研究で得られた知見を深層学習へ応用する。具体的には，ニューラルネットワークの一層分の入力と出力の対応を多様体間の写像と考え，両者の計量の変化を多様体の理論を用いて解析し，ニューラルネットワークの特徴抽出を行う層では，特に近傍の標本点が張る空間に関してその計量の変化を抑制する条件を付加することにより，特徴抽出能力を向上させることを目指す。さらに，オンライン学習において説明に使う図の理解しやすさなどの評価に応用する。
領域特徴量に基づく初期探索法と大域的射影変換マッチングを法を組み合わせた領域画像マッチング法のＧＰＵ上への実装に関して，ＣＰＵに比べて１０倍程度高速化できることが確認されたが，プロファイラーによるチューニングを行っておらず，チューニングによる高速化を行い，さらに実用的な手法を確立する。
機械学習に関して，逆ニューラルネットワークとよばれる逆関数が計算できるニューラルネットワークの表現能力について，これまでに得られている普遍性の結果の一般化を行う。さらに，生体信号の応用を目指した多様体上でのドメイン適応問題のための理論に関して，時系列特性を考慮したアルゴリズムの構築を進めていく。そして，実データを用い検証を行う。
|
Research Products
(6 results)
