Development of a neural-network-based accelerator for holography

• Project/Area Number: 22KK0183
• Research Category: Fund for the Promotion of Joint International Research (Fostering Joint International Research (A))
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Kanazawa University
• Principal Investigator: 遠藤 優 金沢大学, 機械工学系, 助教 (50803293)
• Project Period (FY): 2023 – 2025
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥13,130,000 (Direct Cost: ¥10,100,000、Indirect Cost: ¥3,030,000)
• Keywords: ホログラフィ / アクセラレータ / FPGA

Outline of Research at the Start

ホログラフィックプロジェクションは3次元空間に任意の光強度・位相分布を形成できる技術であり，ディスプレイ・イメージング分野での活用が期待されている．本技術を実用的なアプリケーションに実装するにあたり，ホログラム計算の高速化が求められている．そこで本研究では，ニューラルネットワークと FPGA を用いたホログラム計算専用アクセラレータの開発に取り組み，高速かつ高効率なホログラム計算の実現を目指して研究を行う．

Outline of Annual Research Achievements

本研究課題では、ニューラルネットワークとFPGAを用いたホログラム計算専用アクセラレータの開発に取り組んでいる。本年度は、ホログラム計算のための軽量ニューラルネットワークの開発と、そのFPGA実装に取り組んだ。

軽量ニューラルネットワークの開発では、量子化によるビット数削減を用いて、高速・軽量なホログラム計算モデルを開発した。開発したモデルは Tensor holography モデルをベースにしており、RGB-D画像で表現される点群からホログラムを高速に計算できる。一般に量子化前と比べて、量子化後のモデルでは精度が低下する。特に、本研究で用いたホログラム計算モデルでは精度低下が顕著であった。そこで、アーキテクチャにいくつかの修正を施し、量子化後の精度低下が抑えられる新しいモデルを開発した。開発した量子化モデルの性能評価を行い、量子化前と同等の精度を有しながら、モデルサイズと速度の点で優位性が得られることを実証した。また開発したモデルをFPGAが搭載されたSoM (system-on-module) に実装し、その性能を評価した。SoMへの実装はサイズ・消費電力の面で有利である。量子化モデルをSoM上で高速に実行するために、既存のIPを用いてニューラルネットワークアクセラレータをFPGA上に実装した。速度と消費電力を評価し、FPGA実装はCPUやGPUと比べて消費電力の観点で高い効率性を持つことを実証した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

ハードウェア実装向けのホログラム計算モデルの開発は順調に進んでいる。本年度は、精度を保ちながらモデルの軽量化を実現し、性能評価を通してその優位性を実証することができた。またそのFPGA実装も実施できたことから、研究はおおむね順調に進展している。

Strategy for Future Research Activity

今後は、ホログラム計算モデルの更なる高効率化に取り組む。効率的な計算アルゴリズムの採用や、低精度計算の活用などを通して、ハードウェアに効率的な実装が可能なモデルを開発する。また作成したモデルをFPGA実装していく上で、有効なアーキテクチャ・実装方法も検討する。