| Project/Area Number |
22K19787
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
佐藤 一誠 東京大学, 大学院情報理工学系研究科, 准教授 (90610155)
|
|---|
| Project Period (FY) |
2022-06-30 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
Fiscal Year 2024: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Fiscal Year 2023: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | 機械学習 / 光学 |
|---|
| Outline of Research at the Start |
本研究では、光学と機械学習の融合分野における数理基盤の構築を目的とする。特に、学習アルゴリズムにおける特徴抽出部分を光計算に置き換えることで超高速化し、残りの分類器もしくは推論部分は計算機を用いるハイブリッド構成を考えることで、これまでとは全く異なる方法で学習し推論するデバイスに対してその性質を明らかにするための理論解析の体系化を行う。光学デバイスを用いた特徴抽出部分は、光の特性に依存した特殊なランダム射影と見なすことができるため、ランダム射影の理論に対して光の特性を考慮した理論解析基盤を確立する。具体的には非常に偏った２値変数のランダム射影の制限等測定特性を解析しそのとで近似理論を構築する。
|
| Outline of Annual Research Achievements |
ランダム射影＋カーネル法の射影部分を光学デバイスで置き換える場合、光学デバイスの性質から、実際には従来のランダム射影＋カーネル法とは異なるアルゴリズムとなるため、その性質は理論的には十分には分かっていない。
性質1. １本のレーザーを回折光学素子に通してランダムなパターンを構築することからランダム射影として0/1の疎な２値行列(1の数が少ない)を用いる必要がある。性質2. 入力に対して複数のランダムパターンを切り替えて射影するよりも、１つの(長い)行列をずらしながら入力を射影させて畳み込みを行うほうが高速に計測可能である。これらの性質は、ランダム射影による特徴抽出＋カーネル法の従来研究とは大きく異なり理論解析の観点からも難しい点がある。性質1.により、ランダム射影の従来理論で基礎となる射影行列の劣ガウス性が仮定できない。性質2.により、射影された特徴ベクトルのそれぞれの特徴量は射影行列をずらしながら適用しているので、使われている射影行列に重複部分があるため独立性を仮定できない。本年度では、以下の解析を行った。元の入力同士のL2ノルムでの距離が、射影された特徴ベクトルの空間でのL2ノルムの距離で近似できることを示しているためカーネル法を用いるアルゴリズムでは特に重要な性質である制限等長性 (Restricted isometry property, RIP)の証明を行った。具体的には、制約１に対しては上記のランダム射影による特徴ベクトルがBernstein条件を満たす十分条件を示し、Bernstein不等式を利用することで解決した。制約2に対しては射影されたベクトルの構成要素を独立な要素に分割する際に，２つ入力データの差で表現される特徴ベクトル（入力が画像の場合は差分画像）の自己相関に類似した量によってRIPが成り立つ確率が変動することを示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では、光学デバイスの特性を考慮した機械学習アルゴリズムの修正とその理論解析を目的としており、主にランダム射影の観点から理論構築するものである。ランダム射影では制限等長性を示すことが重要であり、おおむね証明が完了したと言える。また、さらに発展的な話題として、光学デバイスの特性を利用したニューラルネットワークの学習法についてのサーベイを開始している。特に誤差逆伝搬法の代替方法についてサーベイを行い実際にある程度の性能がでるアルゴリズムの考察まで行っており、より発展的な研究への足掛かりもできている。
|
| Strategy for Future Research Activity |
光学的ランダム射影ではその制限等長性についておおむね証明が進んだため論文として出版する準備を行う。現状、射影された特徴ベクトル間の独立性に対しては２つ入力データの差で表現される特徴ベクトル（入力が画像の場合は差分画像）の自己相関に類似した量によってRIPが成り立つ確率が変動することがわかっているが、この量が実際のデータでどれほど問題となるかまだわかっていないため調査する必要がある。ただ、別の方向として依存関係のある確率変数に関する集中不等式がこれまでいくつか提案されているためこの周辺の調査を行うことでより簡潔な理論への模索を考えている。さらに、発展的な話題として誤差逆伝搬法に代わる方法としていくつかの学習アルゴリズムが近年提案されておりその中でランダム行列を用いた手法もあり光学デバイスとの相性が良いものも含まれるため、今後どのような理論体系を必要とするのかを調査したいと考えている。
|
