2020 Fiscal Year Research-status Report
Generation of head-related transfer functions of an individual listener for acoustic virtual reality
| Project/Area Number |
19K12068
|
|---|
| Research Institution | Chiba Institute of Technology |
|---|
Principal Investigator |
飯田 一博 千葉工業大学, 先進工学部, 教授 (60458627)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
竹本 浩典 千葉工業大学, 先進工学部, 教授 (40374102)
苣木 禎史 千葉工業大学, 先進工学部, 教授 (50284740)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 頭部伝達関数 / 個人化 / ノッチ / ピーク / 耳介 / 音像定位 |
|---|
| Outline of Annual Research Achievements |
テーマ1(耳介形状パラメータによる個人のHRTF生成)：個人化HRTFを生成するために，スペクトラルノッチ(N1,N2)の周波数binを精度よく抽出できる新たなHRTFモデル化方法を提案した．さらにモデル化したHRTFのN1,N2周波数binのカテゴリを目的変数，耳介形状パラメータを説明変数として判別分析およびDNNによる推定を行った．その結果，ナイーブな耳介に対して約80%の精度でカテゴリの推定が可能であることを示した．さらに，ノッチとピークのレベルと尖鋭度は聴取者に共通した固定値に設定し，個人のHRTFを生成した．音像定位実験により，良好な音像定位精度が得られる可能性を示した．
テーマ2(HRTF生成を高精度化する耳介形状計測箇所の探索)：12名の耳介形状でトポロジカルに同じ点を薄板スプラインで求めて微小変形を加え，点ごとに伝達関数の変動量を計算した．その結果，耳介切痕と耳甲介舟の微小変形が伝達関数に与える変動量が最も大きいことが明らかになった．さらに，耳介の側面観で陰になる空間が伝達関数に与える影響を検討した結果，耳珠の内側など耳甲介腔外縁部の影響が最も大きいことが明らかになった．これらの形状を計測することによるHRTF生成の高精度化の可能性を示した．
テーマ3(耳介形状パラメータの自動計測)：多くの耳介画像に対する耳介パラメータ抽出をwebベースで複数人が実行できるようにシステム設計を行った．また，ブラウザとjava scriptでの画像アップロード，計測ポイント入力，計測値のリアルタイム表示，計測したすべてのデータを所定の書式で出力およびダウンロードなどができるようにフロントエンドを設計した．さらに，フロントエンドでの基本的な機能を実装した．計測の基準点を自動抽出する方法を検討中である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
テーマ1(耳介形状パラメータによる個人のHRTF生成)：判別分析およびDNNによりN1,N2周波数binのカテゴリを耳介形状から約80%の精度で推定する方法を構築した．さらに， 多くのHRTFを分析し，ノッチとピークのレベルと尖鋭度の固定値を算出した．これらを用いて個人のHRTFを生成して音像定位実験を実施し，良好な音像定位精度を得た．さらなる精度向上が必要であるものの，当初計画通りの進捗である．
テーマ2(HRTF生成を高精度化する耳介形状計測箇所の探索)：耳介形状モデルを変形させて伝達関数をシミュレーションすることにより，耳介切痕，耳甲介舟，耳甲介腔の側面観で陰になる部分がHRTFに大きな変動をもたらすことが明らかになった．これらの部分は，HRTF生成を高精度化する耳介形状計測箇所の候補である．
テーマ3(耳介形状パラメータの自動計測)：耳介画像から耳介パラメータを抽出するシステム設計を終え，webサーバーを構築し，webベースのフロントエンドで複数人作業ができる環境を構築した．設計した耳介パラメータ出力形式に基づいて，複数の計測点のデータを出力し，ダウンロードする機能を実現した．耳介パラメータの自動抽出においては，静止画を用いた場合は実空間での距離と画像ピクセルの対応が必要なために，簡便に距離計測をする方法を引き続き検討中である．
|
| Strategy for Future Research Activity |
テーマ1(耳介形状パラメータによる個人のHRTF生成)：個人のHRTFの生成精度を向上するため，個人のHRTFのノッチとピークのレベルと尖鋭度を変化させて音像定位実験を実施し，ノッチとピークのレベルと尖鋭度の固定値の最適化を図る．
テーマ2(HRTF生成を高精度化する耳介形状計測箇所の探索)：これまでの研究で，耳介の側面画像から耳介各部の輪郭を抽出するプログラムを開発した．今後はテーマ3と共同してこのプログラムを発展させ，耳介の側面画像から耳介各部の輪郭を機械学習により半自動的に抽出し，耳介の形状パラメータを自動的に取得することが可能か検討する．
テーマ3(耳介形状パラメータの自動計測)：静止画から距離推定をする技術を引き続き検討する。まずは，撮影時にマーカーが存在すれば，そのマーカーのサイズを事前情報として活用する簡便な方法を検討する。あわせて，計測の作業量を減らすために基準点を自動抽出する機能を検討する．その後，各機能を統合したシステム構築を行い，テーマ1との融合を検討する予定である。並行して，単なる平面画像からの抽出ではなく，スマートフォンなどの高機能小型端末で撮影時に得られる情報を利用した自動距離計測機能の充実を目指した検討を行う.
テーマ4(耳介画像から自動計測した個人のHRTFの有効性実証)：2019年度および2020年度の成果を用いて生成したHRTFの有効性を確認する．多数の被験者を用いて，個人のHRTFを生成し，音像定位実験などにより，その有効性を実証する．また，改善点を洗い出して今後の研究課題としてまとめる.
|
| Causes of Carryover |
新型コロナにより学会がオンライン発表に変更されたため，出張旅費が未使用となった．また，シミュレーション結果を可視化する計算機の更新を予定していたが，可視化用のソフトウェアの動作が不安定であるとの情報があったため，更新を見送った．2021年度に，シミュレーション結果を可視化する計算機と耳介形状の輪郭を処理する計算機，さらに静止画から距離推定をするためのクライアントノードとストレージを購入する予定である．
|
Research Products
(7 results)
