| Project/Area Number |
23K16902
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
北野 和哉 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (20964810)
|
|---|
| Project Period (FY) |
2023-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2024: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2023: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
|
|---|
| Keywords | コンピュテーショナルフォトグラフィ / イベントカメラ / ライトフィールド計測 / 姿勢推定 / 非同期イメージセンサ / コンピュータビジョン |
|---|
| Outline of Research at the Start |
コンピュータビジョンは時空間的に等間隔サンプリングするイメージセンサを中心に画像処理や機械学習などの手法が構築された。一方、近年登場したイベントカメラやSPADセンサなどの非同期式センサは従来のイメージセンサと異なり時間方向に不等間隔なサンプリングをする。非同期式センサは、適応的サンプリングや高ダイナミックレンジなどの利点があるにも関わらず、従来の画像処理や機械学習は等間隔なサンプリングを前提としているために非同期式イメージセンサの利点が生かせない。本提案は、コンピュータビジョン手法を非同期式イメージセンサに拡張し、従来研究と非同期式イメージセンサの橋渡しを目的とする。
|
| Outline of Annual Research Achievements |
2023年度の成果として、「低遅延・高速な人物姿勢推定」や「ライトフィールド撮影における部分開口画像の非周期的サンプリング」の成果が得られた。
まず、１つ目の成果について述べる。従来の人物の姿勢推定における問題点はデバイスのサンプリング間隔や計算による処理遅延である。従来のカメラやToFカメラなどのデバイスは、1秒間に30フレーム程度が一般的であり、高速に動作する人物の姿勢推定は困難であった。また、ハイスピードカメラを用いたとしても、大量のフレームを高速かつ低遅延で処理するのは困難である。本手法では、光の光量変化によってサンプリングを可変するイベントカメラをToFカメラと組み合わせ、動きの大きさに応じて適応的に処理を変えることで低遅延かつリアルタイム性の高い人物姿勢推定を実現した。この方法は、スポーツ科学における人物姿勢のリアルタイム推定やライブパフォーマンスにおける演出と演者の同期など幅広い応用可能性がある。
次に、２つ目の成果について述べる。従来のライトフィールド撮影では、主レンズとマイクロレンズアレイを用いた方法や部分開口画像を複数枚撮影する方法が一般的であるが、これらの方法は、光線や部分開口を等間隔にサンプリングしているため、格子状のシーンに対して不自然なアーティファクトが生じる場合がある。本提案では、一対のウェッジプリズムを用いた部分開口画像の非周期的サンプリングを提案した。この方法は、ウェッジプリズムと呼ばれるプリズムを対にして、それぞれを異なる速度で回転させることによって、部分開口画像をリサージュ状にサンプリングする。リサージュ状にサンプリングされた部分開口画像は、部分開口を曲線的にサンプリングしているため、不自然なアーティファクトが生じにくい。この方法は、リフォーカス画像再構成時における自然なボケの生成や、深度画像の制度改善などに応用できると考えられる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2023年度は、イベントカメラによる非同期式サンプリングの処理方法を考案し、その応用例として人物の姿勢推定に対してその方法を実装した。申請書の目的に掲げた「コンピュータビジョン手法を非同期式イメージセンサに対して拡張する」という項目はある程度達成したためこのような評価とした。
|
| Strategy for Future Research Activity |
非同期式イメージセンサを用いて、ライトフィールドや分光分布など様々な光情報を間接的に適応的サンプリングし、得られたイベント列の処理方法を検討していく予定である。また、従来のコンピュータビジョン手法を非同期式イメージセンサに対して拡張していくための最適化手法や機械学習について検討し、実装を行う。
|
