2022 Fiscal Year Research-status Report
Advancement of Olfactory Interface Technologies: Automatic Content Creation Using AI
| Project/Area Number |
22K12124
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
松倉 悠 電気通信大学, 大学院情報理工学研究科, 助教 (60808757)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
石田 寛 東京農工大学, 工学(系)研究科(研究院), 教授 (80293041)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 嗅覚 / 嗅覚ディスプレイ / ヒューマンインタフェース / 物体検出 / アノテーション / 人工知能 / クロスモーダル |
|---|
| Outline of Annual Research Achievements |
本研究では嗅覚インタフェースの高度化を目的とし，生放送番組にリアルタイムで匂いを付加することに挑戦する。そのために，嗅覚情報アノテーションシステムを実現して，映像から匂い源物体を自動検出し，提示すべき匂い情報を自動で付加することを目指す。また，少ない原料から多様な匂いを生成する技術を開発することや，クロスモーダル効果を利用して嗅覚情報の再現可能範囲を拡大することを試みる。
本年度はまず，嗅覚情報アノテーションシステムの構築に取り組んだ。深層学習を用いた画像認識アルゴリズムYOLOv7により，映像の中から匂いを発しそうな物体を自動検出する。日本の日常生活において頻繁に遭遇する匂いの中から「コーヒー」「カレー」「花」「果実」「甘い菓子」「酢」「ニンニク」「醤油」「バター」「メントール」「線香」「木」の12種を代表として選び，それぞれ匂い源物体の画像を集め，深層学習用のデータセットを構築した。「コーヒー」「カレー」など，発する匂いが具体的で明確な物体については，7割以上の精度で検出できた。
また，30種類程度の匂いを混合するとある一定の匂い（Olfactory White）に近づく現象に着目し，その調合比を変更して幅広い匂いの再現を目指した。複数のガスセンサの応答パターンを使って匂いを識別する電子嗅覚センシングシステム（Electronic Nose）を用い，再現したい匂いと応答パターンが一致するように，Olfactory Whiteを構成する30種の化合物蒸気の調合比を変更する。「焼き芋」「バラ」など5種の香料を対象として実験を行い，そのうち3種で応答パターンの再現に成功した。
その他，微弱な匂いを容易に嗅ぎ分けることができるようにすることを目指し，匂い強度増強装置の開発を行った。また，深層学習を用いることで疎に配置した少数のガスセンサの応答から高空間分解能の匂い分布を推定する技術の開発にも取り組んだ。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は3年間の研究期間の初年度となるが，生放送番組にリアルタイムで匂いを付加するという目的に向けて，嗅覚情報アノテーションシステムの基礎を構築することができた。日常生活臭の中から代表的な12種を選んで深層学習を適用した結果，コーヒーが入ったカップやバラの花束，皿に盛られた果物など，匂いを発する物体が明示的に映っている場合には，動画の中から7割以上の精度で自動検出することに成功した。
一方，画像の中に「ニンニク」そのものが映っていなくても，餃子やガーリックトーストのような料理があれば，「ニンニク」の匂いが発せられる。予想通り，このような匂いを発する物体が明らかに映像に含まれていない場合には検出精度が低かったため，残りの研究期間で改善に取り組む。
検出した匂いを再現する技術の開発も，概ね順調に進展している。本研究では，Olfactory Whiteを構成する30種程度の化学物質の混合比を様々に変え，多様な匂いの再現を試みる。混合比を手動で調整するのは，調香師のように専門的知識や経験を有していないと困難である。そのため，複数のガスセンサの応答パターンを使って匂いを識別する電子嗅覚センシングシステム(Electronic Nose)を用い，匂いの調合を自動化する。実際に数種類の香料の匂いを再現することを試み，ガスセンサの応答パターンを再現することに成功しており，提案する手法の有効性を示すことができた。ただし，対象とした匂いと調合した匂いのセンサ応答パターンが再現できても，それを人間が嗅いだ際に感じる匂いが完全に一致するわけではない。残りの研究期間では，匂い再現度の向上に取り組む予定である。
|
| Strategy for Future Research Activity |
嗅覚情報アノテーションシステムの開発に関しては，匂い源物体の検出精度向上に取り組む。代表的な日常生活臭として選んだ12種の匂いのうち，「カレー」に対しては87%の精度で匂い源物体である「カレー」を検出することができた。一方，検出精度が最も低かった「ニンニク」に対しては，40%しか検出できなかった。「ニンニク」の匂いがする物体は，「ニンニク」そのもの以外にも「ニンニク」を用いた多種多様な料理がある。そのため，学習データを増強することが第一に必要となる。
また，餃子を酢醤油につけて食べるシーンでは，「酢」「ニンニク」「醤油」の三つの匂いを付加する必要がある。このように，一つの物体から複数の匂いが発せられる場合への対応を検討する。その場合，それぞれの匂いの強度をどのように設定するか画像から判断しなければならないため，その設定手法も検討する。
匂いの再現に関しては，数種類の香料に対するガスセンサ応答パターンを再現することに成功したため，次年度は実際に動画で検出された物体の匂い再現を試みる。初めに「コーヒー」や「カレー」など，検出精度が高かった物体の匂いを用意し，その再現に取り組む。人間の嗅覚とセンサの応答特性は異なるため，センサ応答パターンが一致しても，必ずしも人間が感じる匂いを再現できるとは限らない。再現度向上のために，原料となる30種類程度の物質の選定方法を検討する。
また，あらゆる匂いを再現度高く作ることはできない。しかし例えば，柑橘系の匂いがするリモネンと共にレモンやオレンジなど具体的な画像を示すことで，匂いのリアリティが向上する。このようなクロスモーダル効果により，匂いの再現度を高める手法を検討する。
|
| Causes of Carryover |
本年度に，匂い源物体の画像データセットを用意し，画像中から匂い源物体を自動検出する嗅覚情報アノテーションシステムの基礎を構築した。しかし，匂い源物体の自動検出精度を向上させるためには，画像認識アルゴリズムを学習させるための画像データを大幅に増やす必要があることが分かった。
データ量を増やすと学習時間も増大するため，処理能力の高いワークステーションを使い，GPUを使って計算を高速化する必要がある。しかし，半導体の供給不足により，高性能ワークステーションやGPUボートの納品に時間がかかる状況であったため，今年度内に購入することができなかった。そこで，本年度に使用しなかった金額を繰り越し，次年度に配分される金額と合算して，ワークステーションの購入に充てることとした。
また，「コーヒー」や「カレー」などの匂いを再現する実験を行うことを計画している。そのために，調香師が調合した「コーヒー」や「カレー」の香料を再現対象として購入する予定であったが，このような香料は一般消費者向けには販売されておらず，受注生産となることが分かった。金額と納期の両面を考え，次年度に繰り越して香料を発注することとした。
|
