2022 Fiscal Year Research-status Report
Utilizing Spatialized Audio Augmented Reality to Generate Location Dependent Soundscapes
| Project/Area Number |
22K12274
|
|---|
| Research Institution | Kyoto Institute of Technology |
|---|
Principal Investigator |
SIRIARAYA PANOTE 京都工芸繊維大学, 情報工学・人間科学系, 助教 (00854704)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中島 伸介 京都産業大学, 情報理工学部, 教授 (90399535)
河合 由起子 京都産業大学, 情報理工学部, 教授 (90399543)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | AR / 立体音響 / 機械学習 / モバイルコンピューティング / 情報推薦 / eラーニング |
|---|
| Outline of Annual Research Achievements |
本研究は、ユーザの現在位置に関する情報をサウンドスケープ(「音風景」や「音景」などと訳される概念)として生成し、可動性の高い没入型空間を提供できる立体音響ARを実現することが目的である。そして、その立体音響ARのサウンドスケープを屋外スポットに関連する教科書の知識を体験可能なユビキタス学習システムや位置情報付きSNSにより人間活動の音響が聞こえる社会的な存在感を増やす観光支援システムなどのユースケースで検証する。
現在の研究実績に関して、すでにオープンウェブデータとSNSデータを使用して、ある市内の場所の地理空間の特性（ある市街地の人々が表す感情と行動）を抽出できる様々なアルゴリズムを開発して実験を行った。また、一般のスマートフォンにおいても、町中に歩きながら、仮想人間や他人の存在感を感じさせる立体音響のAR空間を開発していた。最後にユーザの現在地の地理的な特性をもとに英語教育用のAeseop物語を生成して音声で語るシステムを開発した（例えば、周りの場所に神社、川がいたら、「喉の渇いたカラスが水差から水を飲みたいが、手が届かなくて、近くの神社の賢者の僧から石をもらて、その石を一つずつ落としていったら、やがて水を飲める」という物語が生成される）。生成した物語とそのシステムを京都で予備実験を行った。現在はタイの中学校の生徒と評価実験を実施している。それらの研究実績の一部が国際学術雑誌や学会に採択された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では主に3つの研究項目の実施を計画している。具体的には1)地理空間特性の抽出およびサウンドスケープの生成アルゴリズムを開発すること、2)没入感の高い立体音響型ARシステムを開発すること、3)教育や観光支援に関する音声型ARプロトタイプ開発および実証実験行うことである。
現在の進捗状況において、１項目では、オープンウェブデータから市内の地理空間の特性を抽出する様々なアルゴリズムをすでに開発していた。位置情報付きのツイートやOpen Street Mapからデータを取得し、深層学習の機械学習モデルなどを用いることで、市内のさまざまな場所で群衆が表現する感情と行動を抽出するアルゴリズムを開発した。また、人々のポジティブな出来事を記録して、その原因になっている行動や活動を分析し、見回りの場所がそれらの感情を引き起こす可能性を推定するシステムを開発した。それら抽出した特徴データをInstructGPTという機械学習モデルで、仮想人物のセリフと行動を生成している。２項目では、一般なモバイルデバイスとイヤホンでも没入感の高い立体音響型のARを実現するシステムを開発した。そのシステムを用いて、走るなどの活動が行う仮想人間を生成しそれに対するユーザ経験の調査実験を行った。または複数の人が立体音響の環境でお互いに会話できるシステムを開発し、現在はそのシステムによる社会的存在感の評価実験を行っている。3項目ではDavinciという機械学習モデルを用いて、Open Street Mapのデータをもとに見回りの場所から英語教育用のAeseop物語を生成するアルゴリズムとその物語を音声で語るモバイルアプリを開発した。京都市内で予備実験を行った。現在、生成した物語の理解度と有用性がタイの中学校の生徒によって評価している。1と２の研究項目の成果の一部が国際学術雑誌や国内外の学会に採択された。
|
| Strategy for Future Research Activity |
それぞれの研究項目の今後の推進方策に関しては１）京都市内から抽出した地理の特徴データをもとに生成した仮想人物を評価する実験が行う予定である。２）立体音響ARの開発において遭遇し、これから解決しようとする課題は、音響ARの環境で、異なるアイデンティティを持つ人々を表現するバーチャルアバターをどのようにデザインするか、あるいはその環境における様々なバーチャルオブジェクトをどのようにユーザーに没入感をもって知らせるかである。それぞれの課題に対して、バーチャル・エコロケーションやパーソナルサウンドメロディーを使って個人のアイデンティティを表現する方法などの実験を行う予定である。3)立体音響型ARプロトタイプ開発および実証実験に関しては、すでに協力を結んでいたタイにあるいくつかの市内と遠隔地の学校に対して、開発した物語を音声で語るモバイルアプリを英語の授業に使用する評価実験を行う予定がある。
|
| Causes of Carryover |
地理空間特性の抽出アルゴリズムを開発するとき、学生アシスタントを雇って、データのラベリング作業を行うつもりだったが、代わりに機械学習のアルゴリズムを使用して、自動的にラベリングをつけた。そのかわり,その人件費を次年のユーザ実験の実施をサポートする学生アシスタントの費用として使用する。または、英語教育を支援するための立体音響のARシステムの評価実験は、タイで直接行うつもりでしたが、コロナの制約により、オンラインで実施したことになって旅費が削減された。そのため、次年度以降の評価実験を実施するための旅費として使用する。
|
