2018 Fiscal Year Research-status Report
音声の長時間位相スペクトルを利用した画像の音変換に関する研究
| Project/Area Number |
17K00234
|
|---|
| Research Institution | Kyoto Sangyo University |
|---|
Principal Investigator |
川村 新 京都産業大学, 情報理工学部, 教授 (60362646)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 長時間フーリエ変換 / 画像の音変換 / 位相スペクトル |
|---|
| Outline of Annual Research Achievements |
本研究では，音声に画像を埋め込み，実環境で放射，そして受信した音声信号から画像を復元する手法を検討している．本手法は，音声の長時間フーリエ変換で得られた位相スペクトルで音声らしさを保持し，振幅スペクトルに画像を埋め込む．
今年度は，実環境における復元画像の歪みについての検証と，効率的な画像埋め込み法の検討を実施した．まず，残響のある環境において，画像を埋め込んだ音声を放射し，これを受信して画像を復元し，その画質を評価した．単純に音声を放射，受信すると，復元した画像は，激しく劣化した．劣化原因として，様々なパターンが見受けられたが，ひとつは特定の周波数帯域が減衰，あるいは除去されていることから生じる，縦縞の劣化であった．簡単な対策として，画像の埋め込み帯域を調整することで，ある程度の改善が見られた．
さらに，画像の音声への埋め込み方法の改善について検討した．音声の一部の帯域に画像が埋め込まれることで，音質は劣化する．これまで，音声は低域に強いパワーをもつという特徴から，画像を高域にのみ埋め込むという手法を採用してきた．しかし，音楽信号などは，基本周波数とその倍音で構成され，これによって音色が決定される．よって，高域の劣化は音色の劣化に直結する．そこで，低域の音声を保持するのではなく，パワーの強い音声スペクトルを保持する方法に切り替えた．この場合，FFTを適用する分析区間ごとに音声を保持している周波数が変化する．逆に言えば，画像が埋め込まれている周波数帯域が毎回変化する．しかし，パワーが強い音声スペクトルを保持しているので，画像が埋め込まれていない周波数は特定できる．この方法において，特に音楽信号において音質を大幅に改善できた．また，強いパワーをもつ音声スペクトルの位置には画像を埋め込むことができないが，簡単な画像補間技術を導入することで，効率的に復元画像を得る方法を開発した．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
実環境での劣化が小さければ，早々にFPGA等への実機実装に向かう予定であったが，実環境実験の結果，非常に激しい劣化が生じることがわかった．また，その改善も容易ではないことが徐々に明らかとなってきた．現在，劣化を防ぐための手段を様々に試しており，効果が出ている方法は，すでに一部取り入れている．
|
| Strategy for Future Research Activity |
続く最終年度では，基本構成だけでも実機実装すべく，手法の改善策と並行してFPGAでの実現にも注力する．また，パワーの強い音声スペクトルを利用する方法により，本手法の適用範囲が音声だけでなく音楽に拡張できるようになったので，その効果の数値的な検証も実施していく予定である．
|
| Causes of Carryover |
今年度必要であった物品購入の際に予算よりもやや安価に購入できたため少額の次年度使用額が生じた．次年度の実機製作の際に利用するジャンパピンやはんだなどの消耗品購入に充当する予定である．
|
