Utilizing Spatialized Audio Augmented Reality to Generate Location Dependent Soundscapes
| Project/Area Number |
22K12274
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62020:Web informatics and service informatics-related
|
|---|
| Research Institution | Kyoto Institute of Technology |
|---|
Principal Investigator |
SIRIARAYA PANOTE 京都工芸繊維大学, 情報工学・人間科学系, 准教授 (00854704)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中島 伸介 京都産業大学, 情報理工学部, 教授 (90399535)
河合 由起子 京都産業大学, 情報理工学部, 教授 (90399543)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2022: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | AR / 立体音響 / 機械学習 / モバイルコンピューティング / 情報推薦 / eラーニング / 拡張現実 / 推薦システム |
|---|
| Outline of Research at the Start |
従来のスマートフォン等の視覚的インタフェースは、歩行中の安全性を阻害しケガや事故につながる恐れがある。一方で安全性の高いイヤフォンによる聴覚インタフェースは歩行中の利用が広いが知識を深める情報を臨場感と共に提供できない。そこで本研究は、ユーザの現在位置に関する情報をサウンドスケープとして生成し、安全かつ可動性の高い没入型空間を提供できる立体音響ARシステムを実現する。具体的には屋外スポットに関連する教科書の知識を体験可能なサウンドスケープによる学習システムと位置情報付きSNSデータの分析により会話や人間活動の音響が聞こえる社会的な存在感を増やす観光支援システムの２つのユースケースを検証する。
|
| Outline of Annual Research Achievements |
本研究は、ユーザーの現在位置に基づいた地理情報を用いてサウンドスケープ(「音風景」や「音景」などと訳される概念)を生成し、高い没入型空間を提供する立体音響ARを実現することを目的としている。そして、この立体音響ARのサウンドスケープは、屋外スポットに関連する教育内容を体験できるユビキタス学習システムや、位置情報付きSNSを通じて人間活動が感じられる社会的な存在感を増す仮想人間や仮想群衆を基にした観光支援システムなどのユースケースで検証を行う。
現在の研究実績として、HRTF（Head-Related Transfer Function）技術を使用して、川や木などの仮想物体の物理的な存在感や仮想人間と他者の社会的な存在感を感じさせる立体音響のAR空間を提供できるシステムを開発していた。予備実験の結果、開発したシステムは高いユーザビリティを持ち、没入感も向上できたことを確認した。また、開発された立体音響を用いて仮想空間を生成する技術は、視覚障害者が初めてメタバースを体験できるようにまで応用されていた。そして、オープンウェブデータを使用して、市内の場所の地理空間の特性を抽出できる様々なアルゴリズムを開発して、それらのアルゴリズムを適用して、ユーザの現在地の地理的な特性をもとに英語教育用のAeseop物語を生成して音声で語るシステムを開発した。また、旅行者の歩行中のリラクゼーションを支援するために、歩行ルートの特性に合わせて物語と環境音を生成する立体音響ARシステムの開発も行っていた。実施された予備実験の結果により、AIで生成された英語教育用の物語と人間の著者が生成した物語の内容の妥当性に有意的な差がなかったことを示して、また、開発された英語教育用の立体音響ARシステムは従来の手法より、魅力度、刺激性、使用の動機などが有意的に高いであることが確認された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
現在の進捗状況に関して、没入感の高い立体音響型ARシステムを開発する目標に対して, 去年度開発した立体音響型ARシステムをさらに改良し、そのシステムの実現可能性を検討した。結果として、開発された立体音響のシステムはユーザビリティが高くて、満足のいくレベルの没入感を引き出すことができた。そして、開発したシステムの価値をより深く評価するため、VR/AR環境を体験する際に音が最も重要となるユーザーグループである視覚障害者に焦点を当てることにした。異なるアイデンティティを持つユーザや仮想人間を表現するバーチャルアバターをどのようにデザインするかを検討するため、音声のみに構築されたの3種類のアバターを調査した。結果として、靴や衣服に関連する音で構築された音響アバターが、ユーザや仮想人間のアイデンティテを伝える手段として好まれることが示された。
本研究の目標である「教育や観光支援を目的とした立体音響型ARプロトタイプの開発および実証実験を行うこと」に対して、開発した位置情報をもとに英語教育のための物語を生成し、音声で語るシステムの評価実験を実施した。最初の実験の結果、オリジナルの物語とAIによって生成された物語の間では内容の妥当性に有意な差は見られなかった。また次の実験では、開発した立体音響の英語教育用のアプリを実際に使用し、従来の手法（テキストで表示されるオリジナル物語）と比較した。その結果、開発されたARアプリは魅力度、刺激性、新規性の面で有意に高い評価を受けた。さらに、使用動機と期待される効果においても、同様に有意に高い評価を示した。最後に、旅行者が公園やハイキング中などのリラクゼーションを支援するため、歩行中のルートの特性に合わせて物語と環境音を生成する立体音響ARシステムの開発も行っていて、このシステムはポジティブな感情を高める効果があり、没入感を向上させることが確認された。
|
| Strategy for Future Research Activity |
以前に開発された英語教育用の立体音響システムは、優れたユーザー体験項目（魅力、刺激性、使用動機）を示したが、実際の英語教育で使用するには、生成された物語の内容や語彙が生徒の言語レベルにもっと適切に適合する必要があるという懸念が持たれていた。そのため、AIモデルに対して検索拡張生成（Retrieval augmented Generation）の手法を採用する。このアプローチでは、まず異なる英語レベル（B1: 中級英語、B2: 上級中級英語など）の語彙データベースを作成し、大型言語モデルが周辺の地理的特性だけでなく、ユーザーの英語レベルに応じた語彙をデータベースから取り出し、それらの言葉を中心にして物語を生成するよう指示する。次に、当システムの学習効果を従来の英語学習方法と比較するため、さらに評価実験を行う予定である。そして、社会的な存在感を増すための「仮想群衆」を創造するために、「生成型AIエージェント」を開発する予定である。生成エージェントとは、GPTのような生成型言語モデルを使用して、人間の思考や行動を模倣する仮想エージェントを作成する技術である。これらのエージェントは自らが置かれた環境を理解し、その情報に基づいて自律的に行動し、ユーザーや他のエージェントと対話する能力を持っている。様々な個性を持つ人間をモデルにした生成エージェント群を作成し、位置情報付きSNSデータを用いてこれらのエージェントをトレーニングする。これにより、エージェントたちは実際の群衆のように周囲の環境と対話できるだけでなく（周囲にコンビニがあれば、そこで朝食を買うなどの行動をとることができる）、ユーザーと直接会話する能力も持つようになる。
|
Report
(2 results)
Research Products
(7 results)
