2020 Fiscal Year Research-status Report
Ear Authentication System Using Smartphone
| Project/Area Number |
18K19791
|
|---|
| Research Institution | Kansai University |
|---|
Principal Investigator |
梶川 嘉延 関西大学, システム理工学部, 教授 (30268312)
|
|---|
| Project Period (FY) |
2018-06-29 – 2022-03-31
|
| Keywords | 耳認証 / 個人認証 / バイオメトリクス認証 / 機械学習 / スマートホン / 耳介伝達関数 |
|---|
| Outline of Annual Research Achievements |
本研究ではスマートホンなどに搭載したマイクロスピーカとマイクロホンにより耳形状の個人差に起因する反射音の違いから個人認証を行うシステムの構築に向けて研究を行っている．耳の形状には個人差があることがしられており，耳介画像から認証を行う研究はすでに広く行われている．また，挿入型イヤホンを利用して外耳道の音響的個人差を利用した認証システムについても検討が行わている．一方，我々はスマートホンを利用して耳の音響的個人差を利用した個人認証について検討を行っているが，スマートホンを耳にあてる際には，スマートホン位置の揺らぎが大きい（耳への当て方が変化する）ため，計測される音響データ（耳介伝達関数）は測定ごとに大きなゆらぎ（変化）が生じ，その変化は個人差以上に大きくなることも頻繁である．したがって，耳介画像や挿入型イヤホンによる外耳道音響特性を利用した個人認証システムに比べて実用化に向けてクリアすべき問題が多々ある．そこで，今年度は計測ごとに生じるゆらぎに対応するためにスマートホンに搭載されている加速度センサおよび距離センサの利用に加えて，耳介画像も併用することで，耳に対する相対位置を把握し，音による認証制度の向上を目指して研究を行った．結果としては，これらの位置情報を利用することで認証精度を大幅に改善することができ，計測ゆらぎの影響を緩和することに成功した．具体的には，各種センサによる位置情報，耳介画像，そして耳介音響データそれぞれを独立のDNNに入力し，それらの出力をさらに別のDNNで結合する方法を検討した．DNNの構造は複雑になるもののそれぞれの特徴量データを並列に学習することで，認証精度の飛躍的向上を実現することができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度はスマートホンの耳に対する相対位置のゆらぎに対処するために，距離センサと加速度センサに加えて，耳介画像を利用する方法について検討を行った．具体的にはさまざまな方向・角度にスマートホンを耳に対して設置し，その時の位置情報データ，耳介画像データ，そして耳に対する音データのセットを多数計測を行った．そしてそれらのデータセットを利用して，マルチモーダル認証のための識別器としてDNNを複数組み合わせる方法を検討した．結果として複数の異なる特徴量データを利用することで，従来とくらべてかなり認証精度を改善できることを実証した．これらの成果は当初の計画どおり概ね順調に進んでおり，十分な成果が得られたと考えている．また，昨年度に特許申請した内容をブラッシュアップしたことで，新たな知財の可能性も見出すことができた．2021年度に開催された国内および国際学会（いずれもオンライン）で発表を行い，一定の評価を得ることができた．
|
| Strategy for Future Research Activity |
今年度の研究において加速度センサおよび位置センサの情報に加えて，耳介画像も利用したマルチモーダル認証により，認証精度を大幅に改善することに成功した．しかしながら，本来の目的である音による耳認証システムという観点からは，マルチモーダル認証による成功に甘んずることなく，再度音だけの特徴量に基づき認証可能なシステムの模索が不可欠である．これまで音データとしては耳介伝達関数に着目して検討を行ってきたが，数秒程度の音響信号を耳介に放射し，その反射音の時系列データから認証する方法について検討することが重要と考えている．時系列データにはその人固有のスマートホンの位置ゆらぎ情報も含まれていることから，耳介伝達関数による認証に比べてより個人的特徴が出やすいのではないかと考えられる．よって，今後は音の時系列データに着目した研究を進める予定である．また，時系列データを特徴量とする場合，認証のための機械学習についても時系列データに適した方法を検討する必要があるため，適切な機械学習アルゴリズムの模索も必要と考えている．さらに，より正確な認証のためには多数のデータが必要となるが，実測データを多く揃えることには自ずと限界があるため，３次元CADと音響数値解析手法を統合した方法の開発を行うことが必要である．そのために，実測データを忠実に再現できる音響数値解析手法の確立についても検討する予定である．
|
| Causes of Carryover |
COVID-19のため，学会出張のキャンセルならびに当該研究プロジェクトのために招聘予定であった海外の研究者の来日がキャンセルとなったため，次年度の使用額が生じた．次年度もCOVID-19の影響が継続されると考えられるため，数値解析に必要なソフトの購入や耳模型を作るための3Dプリンターの購入に充当したいと考えている．
|
