2023 Fiscal Year Research-status Report
Advancement of Olfactory Interface Technologies: Automatic Content Creation Using AI
| Project/Area Number |
22K12124
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
松倉 悠 電気通信大学, 大学院情報理工学研究科, 助教 (60808757)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
石田 寛 東京農工大学, 工学(系)研究科(研究院), 教授 (80293041)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 嗅覚 / 嗅覚ディスプレイ / ヒューマンインタフェース / 物体検出 / アノテーション / 人工知能 / クロスモーダル / 匂い空間分布 |
|---|
| Outline of Annual Research Achievements |
本研究課題では嗅覚インタフェースの高度化を目的とし，生放送番組にリアルタイムで匂いを付加することに挑戦している．そのために，嗅覚情報アノテーションシステムを実現して映像中の匂い源物体を自動検出し，その匂いを生成する技術の開発に取り組んでいる．また，匂い提示精度の向上のため，クロスモーダル効果を利用した嗅覚情報の再現可能範囲拡大や，匂い空間分布の高精度計測技術の開発も試みている．
嗅覚情報アノテーションシステムの開発において，本年度は動画に付与された字幕からも嗅覚情報を取得することに取り組んだ．これを実現するためにOpenAI社のChat APIを活用し，入力した文章を自動で判別して「コーヒー」「カレー」「花」「果実」「甘い菓子」「酢」「ニンニク」「醤油」「バター」「メントール」「線香」「木」の12種の匂い，または「その他の匂い」や「匂いなし」のいずれかの情報を付与できるようにした．
匂いの生成技術においては，昨年同様，30種類程度の匂いを混合するとある一定の匂い（Olfactory White）に近づく現象に着目して研究を続けている．昨年度にセンサの応答パターンを再現できた匂いは3種類であったが，本年度は，「イチゴ」「バナナ」「グレープフルーツ」「フローラルエッセンス」「青梅」「チョコレート」「はっさく」「エレガントローズ」「若葉」「ガーリック」の10種類の匂いについて再現に成功した．
クロスモーダル効果を利用した嗅覚情報の再現可能範囲の拡大に関しては，温度が急激に変化した際の嗅覚強度の変化を調べる実験を行った．また，匂い提示のリアリティ向上のために取り組んでいる匂いの空間分布計測技術の開発では，昨年に引き続きドイツ連邦材料試験所と国際共同研究を行い，約30gの手のひらサイズの小型ドローンを用いて動的に匂い分布を計測することを試みた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は3年間の研究期間の2年目である．生放送番組にリアルタイムで匂いを付加するという目的に向けて，嗅覚情報アノテーションシステムの機能を拡張することができた．昨年度は，日常生活で感じられる匂いの中から代表的な12種を選び，視覚情報だけに頼って匂いを発する物体を検出していた．しかし，匂いを発する物体が映像内に映し出されていない場合には匂いが検出できないといった問題や，食品サンプルなど本来は匂いがしないはずの物体でも匂いを発する物体として検出してしまうといった問題があった．そこで，字幕情報を用いて匂いの検出の精度高めることに取り組み，システムの枠組みを作成できた．
匂いを生成する技術の開発も，昨年に引き続き順調に進展している．本研究では，Olfactory Whiteを構成する30種程度の化学物質の混合比を様々に変え，多様な匂いの再現を試みている．混合比を手動で調整するのは，調香師のように専門的知識や経験を有していないと困難である．そのため，複数のガスセンサの応答パターンを使って匂いを識別する電子嗅覚センシングシステム(Electronic Nose)を用いて匂い調合を自動化している．昨年度にセンサの応答パターンを再現できた香料の種類は3種類であったが，本年度は10種類まで増やすことができた．
クロスモーダル効果を用いた匂い再現度の向上や，匂い提示のリアリティ向上に向けた匂いの空間分布計測についても新規の実験や検討を実施した．
最終年度となる残りの実施期間では，これまでの研究成果を統合して，生放送番組のリアルタイム匂い付加の実現に取り組む．
|
| Strategy for Future Research Activity |
嗅覚情報アノテーションシステムに関しては，これまでの研究成果を統合し，動画中の視覚情報かつ字幕を基に匂い検出を可能とすることを目指す．検出する匂いの種類はこれまでに引き続き，日本人が日常生活で感じている代表的な匂いとして選んだ12種とする．具体的には，「コーヒー」「カレー」「花」「果実」「甘い菓子」「酢」「ニンニク」「醤油」「バター」「メントール」「線香」「木」である．
匂いの再現に関しては，上記の嗅覚情報アノテーションシステムで対象とする12種類の匂い再現を試みる。現状では，「コーヒー」などの焦げの成分が含まれていると考えられる匂いに関しては，センサの応答パターンの再現に成功していない．本年度は，Olfactory Whiteを構成する30種の化学物質を再選定し，生成できる匂いの種類や再現度を向上することに取り組む．
最終的に，上述した嗅覚情報アノテーションシステムと匂い生成を組み合わせて，動画に匂いを自動で付加することを試みる．
また，匂いは他の感覚に影響を受けやすい感覚であり，提示される匂いに変化がなくても，同時に提示される他感覚の刺激によって匂いの感じ方が変化してしまう．その変化の多くはまだ明らかになっていない．匂いの再現度を向上するために，急激に温度が変化する際の匂いの感じ方の変化に着目し，研究を行う．
匂いの空間分布については，引き続き計測精度向上のための検討を行う．本年度までは小型ドローンを2台しか使用していなかったため，一度に使用するドローンを最高10台まで増やし，匂い分布の計測時間短縮や計測密度向上に取り組む．
|
| Causes of Carryover |
本研究で得られた成果を広く発信するため，関連学会や研究会において積極的に研究発表を行っている．本年度に参加した学会や研究会は，研究代表者が所属する大学またはその近隣で開催されることが多く，想定していた旅費の額よりも実際に要した旅費が低額であった．これが，該年度所要額として申告していた額よりも，実支出の累計額が低くなった主な要因である．
一方で次年度は，本研究課題の最終目標である生放送番組へのリアルタイム匂い付加の実現のため，動画に含まれる視覚情報および字幕から自動で嗅覚情報アノテーションを行うシステムを構築するが，これには画像処理および生成AIによる自然言語処理を同時に行う必要がある．これには，現在用いているワークステーションよりも高負荷な計算を高速で処理できる新たなワークステーションを追加で購入する必要があると予想される．そこで，本年度の余剰額を次年度に繰り越し，本研究課題の遂行に必要となると思われる物品の購入に充てる．
|
