| Project/Area Number |
24K22318
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
鄭 銀強 東京大学, 大学院情報理工学系研究科, 教授 (30756896)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高谷 剛志 筑波大学, システム情報系, 助教 (90809758)
|
|---|
| Project Period (FY) |
2024-06-28 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
Fiscal Year 2025: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Fiscal Year 2024: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
|
|---|
| Keywords | イメージング / ローリングシャッター / グローバルシャッター / 深層学習 / コンピュータビジョン |
|---|
| Outline of Research at the Start |
現在，視覚AIシステムの学習に用いられるデータのほとんどは大衆的なローリングシャッタ方式CMOSセンサによって取得されているため，低感度・低速度・低階調のデータに大きく依存しており，優れた深層学習技術であっても大きな制限を受けている．そこで，本研究では，現状のCMOSセンサが持つ高い空間解像度と低い製造コストを維持しつつ，デメリットを解消した，高解像度・高感度・高速度・高階調の4 つを共立する革新的な画像センシング基盤として，新しいCMOSセンサ設計と最適な画像の認識・理解技術を並行開拓する．
|
| Outline of Annual Research Achievements |
深層学習の登場以来，画像に基づく視覚AI システムは目覚ましく発展してきた．学習に用いられる画像データは，主に大衆的なCMOS センサを用いて取得される．CMOSセンサは高解像度で，安価・小型という利点がある一方，感度・速度・階調が犠牲となる欠点がある．これらの欠点は，結果として，現在の視覚AI システムにおける性能限界となっている．そこで，本研究では，CMOSセンサの利点を継承しつつ，露光方式の革新によって，高解像度・高感度・高速度・高階調を共立する画像センシング基盤を創出し，視覚AI システムの性能限界を突破するという挑戦的な課題に取り組む．
2024年度には、以下の3つの観点から本課題に対して着実に進展を遂げた。1．シャッター方式の改革：グローバルシャッターとローリングシャッターの中間的な露光方式である「グローバル・リセット・ローリングシャッター（GRR）」をベースに、スキャン方向を反転させた「Dual GRR」方式を新たに提案した。2．データセットの合成：高速度・高階調の映像を用いて、Dual GRRに対応する合成画像データを構築した。3．アルゴリズムの開発：入力画像から出力画像へのマッピングを深層学習によって実現し、「高解像度・高感度・高速度・高階調」の共立が可能であることを実証した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の最終目標の達成に向けて、CMOSセンサのシャッター方式の提案をはじめ、データセットの合成やアルゴリズムの開発といった主要な課題に取り組み、いずれもサイバー空間上での合成・解析によって推進してきた。その結果、本研究は概ね順調に進展していると判断される。
|
| Strategy for Future Research Activity |
2024年度には、サイバー空間におけるデータ合成およびデータ処理を中心に研究を展開してきた。今年度は、これまでの進捗を踏まえ、実際の同軸イメージングシステムを構築することでリアルデータセットを収集し、既に開発されたアルゴリズムの検証を行う。さらに、学習済みアルゴリズムの汎用性を高めるため、CMOSセンサのノイズ特性やデータ読み出し機構を考慮した学習データセットの拡張にも取り組む。
|
