| Project/Area Number |
23K28112
|
|---|
| Project/Area Number (Other) |
23H03422 (2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
斎藤 英雄 慶應義塾大学, 理工学部(矢上), 教授 (90245605)
|
|---|
| Project Period (FY) |
2023-04-01 – 2027-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥18,590,000 (Direct Cost: ¥14,300,000、Indirect Cost: ¥4,290,000)
Fiscal Year 2026: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2025: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2024: ¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000)
Fiscal Year 2023: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
|
|---|
| Keywords | イベントカメラ / 高速動作の可視l化 / 超高速画像センシング / ニューロモーフィックビジョン / 人物動作推定 / 高速移動物体センシング / 3次元点群処理 / コンピューテ―ショナルフォトグラフィ / 高速動作の可視化 |
|---|
| Outline of Research at the Start |
生物が明るさの変化を瞬時に知覚できることを模擬したニューロモーフィックビジョンと呼ばれるイベントカメラを活用して，通常のカメラのフレーム取得時間間隔（通常のカメラでは30Hz程度）以上で変化する超高速現象を計測し可視化する技術を実用レベルに高める手法を提案し，実利用フィールドでその有効性を検証する．そして，この超高速現象の計測・可視化手法をスポーツ解析や日常生活・医療診断に活用し，従来の画像センシングでは捉えられなかった高速な現象を計測・可視化することの有効性を検証し，ニューロモーフィックビジョンが新しい価値を創出できることを示す．
|
| Outline of Annual Research Achievements |
全体計画で示した5個の研究項目のうち，下記の3項目についての研究を実施した．
（研究項目A）イベントデータからのダイレクト動き推定アルゴリズム．イベントデータ毎に直接動きを推定するために，イベント履歴のモデル化による手法と対象シーンを表すNeRFからレンダリングされる画素値の時間微分とイベントデータが一致することを利用した手法について，現実的な実装が可能なアルゴリズムについて検討を行った．そして，その成果を国際会議ICIP2024に投稿した．（研究項目B）イベントデータからの人物の動き推定アルゴリズム．多数の関節の動きを同時に推定する必要のある人体やその手の動き推定にイベントカメラを適用したアルゴリズムの検討を行った．（研究項目D）高速動作の可視化．高速に運動する物体や人物動作を，いわゆるスローモーションで可視化することが可能であることを示すための手法の検討を行う．基本的には，上記の動き推定アルゴリズムを活用しながら，高速フレームレートの動画像を再構成するアプローチを取った．上記2項目の成果に基づくデモ発表等を国内学会で行い，さらに国際ジャーナルに投稿した．
さらに，2年目以降に行う予定の（研究項目E） 実利用ドメインでの実証，を前倒ししてスタートし，バレーボールのスパイクにより高速で移動するボールの軌跡と回転速度をイベントカメラによりセンシングする研究を開始した．バレーボールのプロリーグの試合をイベントカメラ等で撮影し，そのデータにより実証実験を行った．その成果は，2024年6月に開催されるCVPRで行われるCVSports2024というワークショップに採択され口頭発表予定となっている．
更に当初計画に追加して，イベントカメラと多焦点面撮影を融合した新しい距離計測技術を考案し，その研究もスタートした．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
全体計画で示した5個の研究項目のうち，初年度に行う予定だった3項目が順調に進み，予定通りの成果が出ている．このように順調に進んでいることに加えて，下記のような成果が出ており，研究の進展がさらに加速されることが期待できる．
・2年目以降に行う予定だった項目として，（研究項目E） 実利用ドメインでの実証の研究，として，プロバレーボールチームの試合を撮影し，その試合におけるボール追跡・回転計測技術の研究を開始した．そして，その初期段階の成果を国際会議に投稿したところ，採択され，2024年6月に口頭発表する予定となっている．
・全体計画には記載しなかった新しいテーマとして，イベントカメラによる新しい映像生成法，つまり，コンピューテ―ショナルフォトグラフィの研究と位置付けることがかできる研究を開始した．これは，本課題と並行して行ってきた，フォーカルスタック（多焦点面画像群）を活用した自由視点映像生成の研究をイベントカメラに適用しようとするものであり，イベントカメラに合焦面距離可変のレンズを取り付け，その焦点面の移動によって発生するイベントデータから距離を推定しようとするものである．この研究についても，初期段階の成果が出ており，これについても国際会議に投稿しているところである．さらにこの研究を進めれば，一早くフォーカルスタック技術をイベントカメラ上で実現した新しい画像生成法として提案することができる．
・これらの研究を通して，イベントカメラを使った高速動作推定や高速現象可視化技術について優れた成果を挙げている国際研究機関との国際共同研究も始まった．
上記のことから，計画以上に進展している，と評価する．
|
| Strategy for Future Research Activity |
今度は，これまで進めてきた研究を更に継続しながら，全体計画の残りの2項目の研究を本格的にスタートする．
（研究項目C）多視点エピポーラ幾何拘束による動き推定の3次元化．研究項目A,Bを，多視点エピポーラ幾何理論を利用して3次元推定に拡張する．具体的には，異なる視点のイベントカメラにより検出されたイベントデータの2次元座標間のエピポーラ拘束を利用したカメラキャリブレーションと3次元的動きの同時推定アルゴリズムを構築する．
（研究項目E）実利用ドメインでの実証．昨年度末にバレーボールドメインでボールの軌跡・回転推定を開始し，これを本年度も継続して実施し，実利用可能であることを検証する．また，実利用ドメインとしてバレーボールだけではなく，陸上競技のうちの槍投げ，さらに格闘技にも適用することを検討する．
|
