2020 Fiscal Year Annual Research Report
Theory for unified expression of recognition mechanisms and its application to machine learning
| Project/Area Number |
20H04206
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
山下 幸彦 東京工業大学, 環境・社会理工学院, 准教授 (90220350)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
鷲沢 嘉一 電気通信大学, 大学院情報理工学研究科, 准教授 (10419880)
田中 聡久 東京農工大学, 工学(系)研究科(研究院), 教授 (70360584)
杉山 将 東京大学, 大学院新領域創成科学研究科, 教授 (90334515)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 認識機構 / ファイバー束 / パターン認識 / 機械学習 / 脳信号処理 |
|---|
| Outline of Annual Research Achievements |
ファイバー束による認識機構を統一的・幾何学的に表現する理論の構築では，確率分布に関する局所等方独立の概念を拡張するために，局所回転共変性の概念を考案した。この局所回転共変は，複素関数における正則関数を，四元数などの関数に適用できるように拡張したものとなっている。さらに，四元数の実部を除いた部分はグラスマン数であり，２つの数の積はその２つの数を交換すると符号が変わる反可換性を持つ。そのような数の集合に対する局所回転共変性を持った関数の微分では，関数の積の微分に対して通常のライプニッツ則ではなく，ライプニッツ則の第２項が減算となる反ライプニッツ則が成立する。このような場合の微分幾何に理論の構築を開始した。
画像の変形を求める画像のマッチングでは，まず，画像全体を探索し，その結果に基づいて変形を求めながら精密なマッチングを高速に行うアルゴリズムを開発し，計算機上に実装した。初歩的な実験で，人間の目でもすぐには見つけられない場合でも，高速に変形を求めつつ，マッチングが可能であることを確認している。
機械学習では，ニューラルネットワークの深層学習の性能向上のために非常に重要な研究テーマである情報理論に基づく表現学習やハイブリッド正則化による過適合抑制のための理論基盤構築とアルゴリズム開発を行った。
識別理論では，リーマン多様体の計量を用いてグラフを埋め込み，スペクトルクラスタリングによって外れ値を検出する方法を構築し，脳波によるブレインコンピュータインタフェースへの応用を示した。さらに，不均衡データに対する識別性能の代表的評価基準であるAUC (Area Under receiver operating characteristic Curve)を，畳み込みニューラルネットワーク評価基準として直接導入し，最小化する手法を考案し，実験により提案手法の有効性が確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画を遂行するために，ファイバー束上で認識機構を表現するための基盤となる「局所回転共変」の概念を生み出すことができた。これは確率密度関数の局所等方独立性の「局所等方」を拡張できる概念である。しかも「局所回転共変」と「局所独立」は，パターンの認識機構を表す関数を制約するために自然なものである。したがって，この２つの条件を組み合わせて新しい理論を構築していくための基盤が整ったと考えられる。また，「反ライプニッツ則」は，グラスマン数の関数に「局所回転共変」を課すと自然に得られるものであり，このような場合の理論の構築も開始できている。
今年度は残念ながらマハラノビス計量の研究に時間を多くの時間を割くことができなかったが，パターンマッチングに関しては，従来のマッチング手法ではマッチングが不可能だった特徴が少ない画像などに対しても高速かつ正確にマッチングできるなど，予想を上回るマッチング性能が得られるアルゴリズムが開発できた。さらに，現在の高速計算法を上回る速度の新しい計算手法に関しても着想を得ることができた。
ニューラルネットワークの表現能力に関して，逆ニューラルネットワークとよばれる逆関数が計算できるニューラルネットが普遍的な近似能力を持つことを理論的に証明することができた。また，局所ラデマッハ複雑度を用いて深層学習の過適合を抑制する正則化法を開発した。さらに，正データとラベルなしデータだけからでも表現学習が可能であること，および，欠損ラベルやラベル雑音に対する統一的な学習理論の枠組みを提案することができた。
そして，リーマン多様体の計量によるグラフを埋め込みを用いた外れ値検出，および，AUC評価基準に基づき最適化する畳み込みニューラルネットワークを実現し，実験によりその性能を評価することができた。
このような理由から，研究の進捗は順調と考えられる。
|
| Strategy for Future Research Activity |
ファイバー束による認識機構の表現に関しては，「局所回転共変」と「局所独立」を組み合わせて理論を構築していく。「局所等方独立の場合」は，マハラノビス計量方程式により計量を与えることができたが，「局所回転共変」と「局所独立」に関しても，まずは計量もしくは接続を求める方程式を求めることに集中する。
マハラノビス計量に関して，現状は境界条件がディリクレ条件ならばかなり適切に収束するが，ノイマン条件の場合，収束しても本来の変形から求まる計量とは異なるものが得られることが多い。空間の非線形な変形の度合いを減らし，ノイマン条件で適切な解が求まる場合を調査し，収束しても本来の変形とは異なる解が得られる原因を調査し対策を講じる。また，画像の変換を求めながら画像をマッチングする手法に関しては，計算コア数が画素数を上回る場合，画素数によらず平滑化幅の対数程度の計算量で求めることができるアルゴリズムを実装し，そのマッチング性能を評価する。また，前段の初期探索法は画像の劣化に対して頑健であるが，後段の高精度なマッチングアルゴリズムは局所特徴量を使うためにあまり頑健ではない。この問題を解決するために，初期探査の知見を取り入れ改良を行う。さらに，マッチング手法を手書き文字認識に適用し，その認識率を評価する。
機械学習に関しては，過適合抑制・汎化性能向上のための理論基盤構築とアルゴリズム開発を引き続き行う。また，研究で得られた成果に対する外部発表が遅れているため，論文を執筆して積極的に投稿する。
|
