| Project/Area Number |
22K19787
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
佐藤 一誠 東京大学, 大学院情報理工学系研究科, 教授 (90610155)
|
|---|
| Project Period (FY) |
2022-06-30 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
Fiscal Year 2024: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Fiscal Year 2023: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | 機械学習 / 光学 / ランダムプロジェクション |
|---|
| Outline of Research at the Start |
本研究では、光学と機械学習の融合分野における数理基盤の構築を目的とする。特に、学習アルゴリズムにおける特徴抽出部分を光計算に置き換えることで超高速化し、残りの分類器もしくは推論部分は計算機を用いるハイブリッド構成を考えることで、これまでとは全く異なる方法で学習し推論するデバイスに対してその性質を明らかにするための理論解析の体系化を行う。光学デバイスを用いた特徴抽出部分は、光の特性に依存した特殊なランダム射影と見なすことができるため、ランダム射影の理論に対して光の特性を考慮した理論解析基盤を確立する。具体的には非常に偏った２値変数のランダム射影の制限等測定特性を解析しそのとで近似理論を構築する。
|
| Outline of Annual Research Achievements |
2023年度は、Johnson Lindenstrauss lemmaに関係して射影行列が特殊な構造を持つ場合の後続研究の調査をおこなった。
本研究では、ランダムプロジェクションを光学系を利用して特徴抽出する際に、分類対象に対して異なる光学パターンを照射するよりも分類対象をパターン中に移動させることで特徴ベクトルを得ることを考える．これはフローサイトメトリーで流体中を移動する細胞を識別するような問題設定には適しているといういみで重要な応用をもつ仕組みである．このような場合に問題なのは、ランダムプロジェクションで得られる特徴ベクトルの近接する次元の独立性が担保されないために、ランダムプロジェクションにおいて最も重要な性質であるRestricted isometry propertyを証明するのが難しくなることである。具体的には、ランダムプロジェクションによって得られた特徴ベクトル間の距離の保存を行うために必要な次元が、独立にプロジェクションを照射する場合に比べて大幅に増えてしまうという問題が起こる。これまでは、識別対象を画像と見たときに、画像内のピクセルの自己相関係数に関係する量を用いた理論解析をすることで、このような問題を緩和できることを示してきたが、対象の自己相関係数に依存した議論になってしまうため分類対象の情報があらかじめ必要になってしまう。今年度は、光学パターン中を対象が移動するという状況を逆に対象に対して光学パターンをずらしながら適用して適用するとみなすことで、ランダムプロジェクション行列が巡回行列の場合のJohnson Lindenstrauss lemmaを用いることを検討した。しかし、理論解析を行った結果、これまでの自己相関係数を用いる理論よりも良い結果を得ることができなかった。今後は、やはり自己相関係数自体の対象依存性を緩和する形で理論を完成させていきたい。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ランダムプロジェクションのプロジェクトは論文投稿の準備が進んでおり、２０２４年度には投稿まで進めると考えている。また、文字数の関係で実績には含めていないが、光学系と相性の良い学習アルゴリズムに関する調査も行っている。ニューラルネットワークを学習する際に光学系を用いる場合には、BackpropagationよりもDirect Feedback Alighment (DFA)と呼ばれる手法が適していることが知られえている。全結合ニューラルネットワークでは比較的うまくいっているもののTransfomerのようなモデルではこれまでうまくいっていないことが知られていたため、その調査を行った。その結果、うまくいかない理由が１層のニューラルネットワークの表現力と１層のTransfomerブロックの表現力の違いによるものではないかという仮説を立てるまで進んでおり、さらなる研究テーマへと進みつつある。
|
| Strategy for Future Research Activity |
光学系に適したランダムプロジェクション手法の理論解析については分類対象に対する自己相関係数を主軸とした形でまとめて論文を投稿する予定である。
さらに、光学系に適した学習アルゴリズムであるDFAの性質の分析も同時に進めていく予定である。
|
