2023 Fiscal Year Research-status Report

Development of high-speed random access vision principle based on mirror array

Research Project

Project/Area Number	23K18473
Research Institution	Gunma University
Principal Investigator	奥寛雅群馬大学, 情報学部, 教授 (40401244)
Project Period (FY)	2023-06-30 – 2025-03-31
Keywords	ミラーアレイ / DMD / 多重露光 / 共振 / 高速ランダムアクセスビジョン
Outline of Annual Research Achievements	本研究はマイクロミラーアレイを利用した視線方向ランダムアクセスビジョンの実現に挑戦するものであり、2023年度は、その原理検証を行った。 (1) まず市販のDMDを利用して、ミラー角度を平坦に固定した状態で撮像を行って光学系の基礎的な光学特性を評価した。このために、DMD、リレー光学系、ロックインピクセル撮像素子とを組み合わせた計測システムを構築した。次に、この撮像系で撮影実験を行い、この条件では問題なく撮像できることを確認した。 (2) 次に、高速ランダムアクセスビジョンの評価用試作システムの構築と評価を行った。(1)で構築した光学系を基礎として、DMDを内包する撮像用光学系とロックインピクセル撮像素子とでミラーアレイによる高速ランダムアクセスビジョン評価システムを構築した。このシステムではミラーアレイのミラー角度遷移に同期して撮像用信号をロックインピクセル撮像素子に入力し，ミラー角度の遷移途中で露光を行えるようにした。高速にミラーアレイを遷移させながら1フレーム内に多数の露光を行うことで，到底方向の像を得るものである。露光のタイミングを変更しながら撮像方向を制御して撮影すると、利用するDMDの角度に依存して回折の影響が確認され、多重の方向が重畳したような映像が撮影されることが判明した。このため、この回折の影響に関する対応の検討に移行した。 (3) 回折の影響に対する一つの解決策として、回折の影響を受けた映像から、仮に回折の影響を受けなかったら撮影されるべき画像を推定する手法が考えられる。これに挑戦するため、GAN(Generative adversarial networks)に基づくスタイル変換のアルゴリズムを検討した。
Current Status of Research Progress	Current Status of Research Progress 3: Progress in research has been slightly delayed. Reason 当初の想定より回折の影響が強いことがわかり、この問題への対応が必要となったため、やや遅れているとした。
Strategy for Future Research Activity	上述したように、当初予想していたより回折の影響が大きく、この問題への対策が必要となった。これについては画像スタイル変換に基づく解決法とミラーアレイのサイズ変更による回折低減の2つのアプローチで解決を目指す。
Causes of Carryover	スタイル変換で利用するための機械学習用計算機の納期が昨今の需要急増で予想以上に長くなり納品が次年度となったことが次年度使用額が生じた理由である。当該計算機はすでに納品されており、また納品されるまでは手元にある低スペックの計算機を利用して本格利用の準備を行ったため、研究進捗への影響は最低限である。