Utilizing Spatialized Audio Augmented Reality to Generate Location Dependent Soundscapes
| Project/Area Number |
22K12274
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62020:Web informatics and service informatics-related
|
|---|
| Research Institution | Kyoto Institute of Technology |
|---|
Principal Investigator |
SIRIARAYA PANOTE 京都工芸繊維大学, 情報工学・人間科学系, 助教 (00854704)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中島 伸介 京都産業大学, 情報理工学部, 教授 (90399535)
河合 由起子 京都産業大学, 情報理工学部, 教授 (90399543)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2022: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | AR / 立体音響 / 機械学習 / モバイルコンピューティング / 情報推薦 / eラーニング / 拡張現実 / 推薦システム |
|---|
| Outline of Research at the Start |
従来のスマートフォン等の視覚的インタフェースは、歩行中の安全性を阻害しケガや事故につながる恐れがある。一方で安全性の高いイヤフォンによる聴覚インタフェースは歩行中の利用が広いが知識を深める情報を臨場感と共に提供できない。そこで本研究は、ユーザの現在位置に関する情報をサウンドスケープとして生成し、安全かつ可動性の高い没入型空間を提供できる立体音響ARシステムを実現する。具体的には屋外スポットに関連する教科書の知識を体験可能なサウンドスケープによる学習システムと位置情報付きSNSデータの分析により会話や人間活動の音響が聞こえる社会的な存在感を増やす観光支援システムの２つのユースケースを検証する。
|
| Outline of Annual Research Achievements |
本研究は、ユーザの現在位置に関する情報をサウンドスケープ(「音風景」や「音景」などと訳される概念)として生成し、可動性の高い没入型空間を提供できる立体音響ARを実現することが目的である。そして、その立体音響ARのサウンドスケープを屋外スポットに関連する教科書の知識を体験可能なユビキタス学習システムや位置情報付きSNSにより人間活動の音響が聞こえる社会的な存在感を増やす観光支援システムなどのユースケースで検証する。
現在の研究実績に関して、すでにオープンウェブデータとSNSデータを使用して、ある市内の場所の地理空間の特性（ある市街地の人々が表す感情と行動）を抽出できる様々なアルゴリズムを開発して実験を行った。また、一般のスマートフォンにおいても、町中に歩きながら、仮想人間や他人の存在感を感じさせる立体音響のAR空間を開発していた。最後にユーザの現在地の地理的な特性をもとに英語教育用のAeseop物語を生成して音声で語るシステムを開発した（例えば、周りの場所に神社、川がいたら、「喉の渇いたカラスが水差から水を飲みたいが、手が届かなくて、近くの神社の賢者の僧から石をもらて、その石を一つずつ落としていったら、やがて水を飲める」という物語が生成される）。生成した物語とそのシステムを京都で予備実験を行った。現在はタイの中学校の生徒と評価実験を実施している。それらの研究実績の一部が国際学術雑誌や学会に採択された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では主に3つの研究項目の実施を計画している。具体的には1)地理空間特性の抽出およびサウンドスケープの生成アルゴリズムを開発すること、2)没入感の高い立体音響型ARシステムを開発すること、3)教育や観光支援に関する音声型ARプロトタイプ開発および実証実験行うことである。
現在の進捗状況において、１項目では、オープンウェブデータから市内の地理空間の特性を抽出する様々なアルゴリズムをすでに開発していた。位置情報付きのツイートやOpen Street Mapからデータを取得し、深層学習の機械学習モデルなどを用いることで、市内のさまざまな場所で群衆が表現する感情と行動を抽出するアルゴリズムを開発した。また、人々のポジティブな出来事を記録して、その原因になっている行動や活動を分析し、見回りの場所がそれらの感情を引き起こす可能性を推定するシステムを開発した。それら抽出した特徴データをInstructGPTという機械学習モデルで、仮想人物のセリフと行動を生成している。２項目では、一般なモバイルデバイスとイヤホンでも没入感の高い立体音響型のARを実現するシステムを開発した。そのシステムを用いて、走るなどの活動が行う仮想人間を生成しそれに対するユーザ経験の調査実験を行った。または複数の人が立体音響の環境でお互いに会話できるシステムを開発し、現在はそのシステムによる社会的存在感の評価実験を行っている。3項目ではDavinciという機械学習モデルを用いて、Open Street Mapのデータをもとに見回りの場所から英語教育用のAeseop物語を生成するアルゴリズムとその物語を音声で語るモバイルアプリを開発した。京都市内で予備実験を行った。現在、生成した物語の理解度と有用性がタイの中学校の生徒によって評価している。1と２の研究項目の成果の一部が国際学術雑誌や国内外の学会に採択された。
|
| Strategy for Future Research Activity |
それぞれの研究項目の今後の推進方策に関しては１）京都市内から抽出した地理の特徴データをもとに生成した仮想人物を評価する実験が行う予定である。２）立体音響ARの開発において遭遇し、これから解決しようとする課題は、音響ARの環境で、異なるアイデンティティを持つ人々を表現するバーチャルアバターをどのようにデザインするか、あるいはその環境における様々なバーチャルオブジェクトをどのようにユーザーに没入感をもって知らせるかである。それぞれの課題に対して、バーチャル・エコロケーションやパーソナルサウンドメロディーを使って個人のアイデンティティを表現する方法などの実験を行う予定である。3)立体音響型ARプロトタイプ開発および実証実験に関しては、すでに協力を結んでいたタイにあるいくつかの市内と遠隔地の学校に対して、開発した物語を音声で語るモバイルアプリを英語の授業に使用する評価実験を行う予定がある。
|
Report
(1 results)
Research Products
(4 results)
