| Project/Area Number |
23K11666
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 80020:Tourism studies-related
|
|---|
| Research Institution | Fukuoka Institute of Technology |
|---|
Principal Investigator |
石田 智行 福岡工業大学, 情報工学部, 教授 (00719148)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
内田 法彦 福岡工業大学, 情報工学部, 教授 (10610298)
柴田 義孝 岩手県立大学, その他部局等, 特命教授 (80129791)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2025: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2023: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | メタバース / リアルタイムビデオアバタ / 複合現実 / 伝統工芸産業 / 画像処理 / 機械学習 / 空間共有 |
|---|
| Outline of Research at the Start |
クールジャパン資源は，その内容が多様かつ資源ごとにそれぞれの特性があり，これらの資源の特性を踏まえた効果的な情報発信が求められるものの，依然ホームページ等の情報発信に留まっている状況にある．本研究では，新しいリアルタイムビデオアバタ生成法により，時と場所を超えたメタバース上で海外市場も踏まえた生産者と消費者の商談の場とするEC空間を構築するとともに，現実世界の中に3Dなどの仮想世界をシンクロさせる複合現実技術を用いることで，自宅等において伝統工芸品をホログラフィックに映し出す伝統工芸体験MR空間を構築する．これにより，時間と場所を越えた日本の良き伝統文化の体験の場を実現する．
|
| Outline of Annual Research Achievements |
1.メタバースEC空間と伝統工芸体験MR空間の基本設計
リアルタイムビデオアバタ生成法によるメタバースEC空間の構築と伝統工芸品をホログラフィックに映し出す伝統工芸体験MR空間の構築に係る要求定義・外部設計・内部設計を行った．
2.リアルタイムビデオアバタ生成法の確立
Webカメラで取得した映像から，映像の大まかな輪郭を抽出するOpenCV処理と人物領域を抽出するための機械学習を施すことによって人物領域の抽出精度を上げることに成功した．これにより，メタバース空間上でのリアルな臨場感コミュニケーションを低コストで実現することが可能となった．本研究のリアルタイムビデオアバタ生成法は，メタバース上における相手との正確な表情やジェスチャなどの身体動作を交えたコミュニケーションを可能にするとともに，遠隔ユーザ同士におけるメタバース内での容易なノンバーバルコミュニケーションを実現するものである．映像の大まかな輪郭を抽出するOpenCV処理においては，CPU側から取得したカラー映像から白黒映像に変換するグレースケール化を行い，次に，グレースケール化した画像を形状や位置などの元の画像情報を保持したまま，黒または白の二値画像に変換した．最後に，輪郭抽出処理により，二値化映像から白いピクセルを探し出し，白いピクセルを繋ぎ合わせることで輪郭を抽出した．輪郭抽出処理した映像は，機械学習機構へ送られる．人物領域を抽出するための機械学習機構では，最初にOpenCV 処理からの映像情報を機械学習モデルを用いて，人物の領域を抽出する．次に，人物領域情報と原映像の情報からマスク情報とカラー情報を取得し，この2つの情報を重ね合わせる．最後に，OpenCV処理で取得した原画像と人物領域映像を重ね合わせることで，リアルタイムビデオアバタの生成法を確立した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
令和5年度は，メタバースEC空間と伝統工芸体験MR空間を構築するための，要求定義・外部設計・内部設計を行った．また，リアルタイムビデオアバタ生成法を確立したことから，おおむね計画通りに進展している．
リアルタイムビデオアバタ生成法においては，カメラ映像要求機能，OpenCV Manager，Machine Learning Managerを実装した．OpenCV Managerは，テクスチャ処理を行うためのHuman extraction moduleとグレースケール，二値化，輪郭抽出の処理を行うためのCompute shader moduleにより構成される．また，Machine Learning Managerは，ニューラルネットワークモデル（NNM）からセグメンテーションを予測するためのSegmentation module，テクスチャ解像度をリサイズするためのResolution conversion，生成された映像情報から人物領域を抽出し，背景領域を透過するためのBackground transparency module，テクスチャを連結するためのImage joining moduleにより構成される．
これまでの進捗状況については，その成果を国内外の学会にて発表し高い評価を得ている．
|
| Strategy for Future Research Activity |
今後は，当初の計画通り令和6年度において，メタ―バースEC空間の機能実装と伝統工芸体験MR空間の機能実装を行うとともに，令和7年度においては，伝統工芸体験MR空間の共有機能の実装とメタバースEC空間／伝統工芸体験MR空間の実証実験を行っていく予定である．
令和6年度のメタ―バースEC空間の機能実装においては，将来的に日本各地に点在するさまざまな伝統工芸品の取り扱いを想定していることから，ベースとなるメタバースEC空間の中に，伝統工芸品ごとの店舗を構えられる機能を実装する．また，各バーチャル店舗においては，各伝統工芸品の特徴に合わせて，自由自在にデザインやレイアウトを変更できる機能も実装する．
また，伝統工芸体験MR空間の機能実装においては，次世代MRデバイスを用いて現実空間上に3DCGの伝統工芸品を重畳提示すべく，MR空間を介してユーザに伝統工芸品を提示するためのユーザインタフェース機能を実装する．伝統工芸体験MR空間の機能は，主に1)現実空間認識機能，2)MR空間ジェスチャ操作機能，3)バーチャルメニューによる伝統工芸建具重畳配置機能，4)伝統工芸建具情報注釈重畳表示機能からの構成を想定している．
次に，令和7年度の伝統工芸体験MR空間の共有機能の実装においては，メタバースEC空間で体験した伝統工芸品の実際の購買を想定し，自宅等において現実空間上にホログラフィックに重畳表示された伝統工芸品の3DCGをマルチユーザ間で共有するためのMR空間共有機能を実現する．
最後に，メタバースEC空間と伝統工芸体験MR空間の実証実験においては，構築したメタバースEC空間と伝統工芸体験MR空間を検証するため，プロトタイプの機能・性能評価を実施する．また，評価結果に応じて，システム全体の改善（デバッグ）を行う予定である．
|
