2021 Fiscal Year Annual Research Report
Development of a multisensory fusion ICT system transmitting attractiveness of traditional crafts
| Project/Area Number |
18H03458
|
|---|
| Research Institution | Utsunomiya University |
|---|
Principal Investigator |
長谷川 光司 宇都宮大学, 工学部, 教授 (50272761)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
佐藤 美恵 宇都宮大学, 工学部, 教授 (00344903)
阿山 みよし 宇都宮大学, オプティクス教育研究センター, 特任教授 (30251078)
佐々木 和也 宇都宮大学, 共同教育学部, 教授 (60292570)
松島 さくら子 宇都宮大学, 共同教育学部, 教授 (60344909)
東海林 健二 宇都宮大学, 工学部, 教授 (70143188)
森 博志 宇都宮大学, 工学部, 准教授 (80538447)
鶴田 真理子 宇都宮大学, 工学部, 助教 (80748202)
石川 智治 宇都宮大学, 工学部, 准教授 (90343186)
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Keywords | 伝統工芸 / 結城紬 / 和太鼓 / デザイン支援 / 多感覚融合 / ICTシステム |
|---|
| Outline of Annual Research Achievements |
本研究では，遠隔通信における感性要素を明らかにすることを目的とし，結城紬及び和太鼓を対象として，KICS (感性インターネットコミュニケーションスペース) の i) 視触覚部，ii) 視聴覚部，そして，イラストデザイン支援システムを対象に iii) インターネットコミュニケーション部の基盤技術を確立することを目的としている．令和3年度は以下のように研究を推進した．
i) KICSにおける結城紬の質感提示画像・映像システムのプロトタイプの開発：令和3年度は，KICSにおける結城紬の質感画像提示の基盤技術として，利用者の動きに伴う着装時の結城紬の質感表示画像を提示するシステムのプロトタイプを作成し，システムの有効性を検証した．
ii) 和太鼓の打音の感性評価実験およびコンテンツの制作：太鼓の打音の感性評価について，評価対象となる様々な締太鼓の打音の録音を実施した．また，KICS の構成要素の一つとして，国指定重要無形民俗文化財に指定されている鹿沼今宮神社祭の屋台行事（鹿沼秋まつり）のお囃子に着目し，伝統継承の支援を目的とした多視点での視聴を可能としたお囃子コンテンツ視聴システムを開発した．
iii) イラストデザイン支援システムの開発：観光写真やスナップ写真等を下敷きにして手描き線画インタフェースでカラーイラストを短時間で制作できるイラストデザイン支援システムをインターネット上で運用することを目指して，その主要部分をWebアプリとして実装し，システムの基本動作を確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
令和3年度は，実施計画に基づき，i) 結城紬の質感に関する感性評価実験，ii) 視聴覚相互作用を利用した和太鼓の臨場感に関する評価実験，iii) イラストデザイン支援システムの開発を行った．具体的に得られた結果は，それぞれ以下の通りである．
i) KICSにおける結城紬の質感提示画像・映像システムのプロトタイプの開発：KICS のバーチャル試着機能において，利用者がバーチャルで試着した際の動きを捉えて，それに伴う着物の様相と結城紬の質感を表現する提示技術を有するシステムのプロトタイプを開発した．更に，KICS の観光利用を踏まえた機能拡充として，個々の利用者の体型を考慮した試着を可能とする機能を追加し，多様性への適応面も強化した．
ii) 和太鼓の打音の感性評価実験およびコンテンツの制作：感性評価実験の対象として，胴内部構造の異なる締太鼓6種類および5種類の革を組み合わせた合計30種類の打音の録音を実施した．また，KICS の構成要素の一つとして，ユネスコ無形文化遺産および国指定重要無形民俗文化財に指定されている鹿沼今宮神社祭の屋台行事（鹿沼秋まつり）のお囃子に着目し，上深津囃子保存会の協力の下，ヘッドマウントディスプレイを用いて個別映像・手元映像・個別音源を切り替えて視聴できるコンテンツを試作した．
iii) イラストデザイン支援システムの開発：インターネット上でイラストデザイン支援システムの運用が可能であることを確認するために，その主要な処理である幾何計算と画像処理を Web アプリとして JavaScript で実装した．そして，Web ブラウザ上で写真とそれを参照して描いた線画イラストを入力すると彩色されたイラストが表示されるというシステムの基本動作を複数のイラスト例で確認した．
以上により，実施計画に対応した結果が得られていることから，概ね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
令和4年度は最終年度であり，KICS (感性インターネットコミュニケーションスペース) の i) 視触覚部，ii) 視聴覚部，及び iii) インターネットコミュニケーション部について，以下の計画に基づいて研究を推進し，システム全体を構築していく．
i) KICS活用（インターネット活用）のための機能の開発と検証：インターネット活用を踏まえたKICSについて，結城紬の生産・販売や地域における観光への応用を検討し，その効果を検証する．具体的には，KICSの結城紬の質感表示画像の提示機能であるバーチャル試着機能について，インターネット活用のための機能を確立し，結城紬の生産・販売・観光における顧客の満足度評価実験などからKICS活用の有効性を実証する．
ii) KICS に向けた多視点和太鼓コンテンツ視聴システムの構築：令和3年度に引き続き，締太鼓の打音の響きに関する感性評価実験を実施し，結果をまとめる．また，KICS の機能の一部として，ユネスコ無形文化遺産および国指定重要無形民俗文化財に指定されている鹿沼今宮神社祭の屋台行事（鹿沼秋まつり）のお囃子に着目した，多視点視聴システムを完成させ，システムの評価を実施する．
iii) イラストデザイン支援システムの Web 実装：イラストデザイン支援システムについて，これを Web アプリとして実装する際，手描き線画入力から画像処理までの全ての処理を Web ブラウザ側で行う方式を採用する．十分な計算能力を有する最近の情報端末では，この方式により通信の遅延なしで快適な操作性が得られると考えられる．現在，Web ブラウザ上でのシステム基本動作は確認済みである．本年度は，複数の OS や複数の Web ブラウザ上での動作確認，端末のカメラロールからの写真の選択を含むユーザインタフェースの検討を行い，Web アプリとして実装を完了させる．
|
