• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

融合型AIに基づくインテリアの推薦のためのユーザー嗜好感性モデルの構築

Research Project

Project/Area Number 21K12097
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61060:Kansei informatics-related
Research InstitutionDoshisha University

Principal Investigator

小野 景子  同志社大学, 理工学部, 准教授 (80550235)

Co-Investigator(Kenkyū-buntansha) 花田 良子  関西大学, システム理工学部, 准教授 (30511711)
大木 健太郎  京都大学, 情報学研究科, 助教 (40639233)
Project Period (FY) 2021-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2024: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2021: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywords感性モデル / 深層学習 / 遺伝的プログラミング / 意思決定 / モデル選択 / グラフスペクトル / 量子アニーリング / クラスタリング / インテリア推薦 / 感性 / 人工知能 / 重要ルール抽出
Outline of Research at the Start

インテリア推薦システムは,購入したい家具に形状や色合いの似た家具を列挙する手法や,画像に埋め込まれたテキスト情報を使って購入したい家具に合う別の家具を提案する手法などが提案されている.しかしこれらの手法は購入者の家具を使う場面が考慮されていない.使用する場面を考慮したインテリア推薦システムが未だ存在しない理由の一つは,感性という曖昧な情報のモデル化が非常に困難なためである.より利便性の高い高度な推薦システムの開発のために,本研究では,(1)感性特徴量を解明し,(2)(1)の特徴量を融合し,(3)重要ルールを考慮した感性に基づくインテリア推薦法の確立を目指す.

Outline of Annual Research Achievements

昨年度は深層学習と決定木に基づくインテリア家具の組み合わせを考慮した手法を提案した.一方,インテリア推薦において,ユーザー趣向を抽出するためには,用いる学習画像はユーザが良し悪しを評価した画像を用いることが望ましい.その場合,画像に写るインテリア家具は様々であり,ルールベース手法に適用する場合,特徴量の欠損が生じることが多い.今年度はそのデータ欠損に対応可能な手法への拡張と,優良なルール抽出のアルゴリズム開発を行った.
ルール抽出の基盤である遺伝的プログラミングの開発においては,近傍探索をベースとした交叉deterministic Multi-step Crossover Fusion (dMSXF)の改良を行った.この手法は,一方の親の木構造に対して部分木の置換,挿入,削除の3つの遺伝操作を適用することで,他方の親が持つ部分木を組み入れた子個体を生成する.dMSXFは両親の形質遺伝に優れた交叉であるが,一方で,両親間の木構造が似通った場合には,操作の候補となる部分木の数が減少し,探索が停滞する問題があった.2023年度は,木構造の回転操作を新たに導入することで,良好な部分木を構成するノードの情報を失うことなく,母集団内の個体の多様性を維持し,dMSXFの探索性能を向上させることを示した.
また木構造抽出法の開発では,木構造を行列として表したときの主要なスペクトル構造の抽出のため,主成分分析に用いられる Oja フローの解析を行った.Ojaフローは通常,対称行列に対して用いられるアルゴリズムで,固有値の大きい順から設定した個数の固有ベクトルを拾ってくる.これが正規行列および一般の行列に対しても,固有値の実部の大きな順から設定した個数を拾ってくることを示し,国内学会発表および学術論文誌へ投稿した(arXiv:2403.03104 にて公開).これにより複雑な木構造になってもスペクトル構造を効率よく抽出することができる.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

欠損データの対応としては,決定木手法にXGBoostを適用することで3種の家具が含まれる画像において数%のみの性能低下を確認した.現在,よく用いられる深層学習手法であるResNetやVGGにおいては40%程度の性能低下を確認しており,本提案手法の高い性能を確認した.
また,dMSXFにおいては,GPの探索性能を向上させるため,近傍探索をベースとした交叉の開発を行っている.2023年度は,両親の形質遺伝に優れた交叉dMSXFに,新たに木構造の回転操作を導入し,母集団内の個体の多様性を向上させることで,初期収束を回避し,高い探索性能が得られることを示した.
木構造抽出法においては,サイズの異なる木構造を扱うために,これまでに情報量的な特徴付け,スペクトルによる代数的な特徴づけを行ってきており,木構造を扱うための代表的な特徴量の抽出方法を提案してきた.抽象的な距離空間上でのデータ分類手法も昨年度に提案しているので,これらの特徴量間を定量的に議論することができ,良い木構造がどのような特徴量を持つかを実データを利用して調べる準備が整った.

Strategy for Future Research Activity

本年,木構造探索手法と木構造抽出手法の開発に進展があったため,2024年度は木構造ベースの家具推薦モデルに適用し,推薦性能の更なる向上を図る.また,深層学習を用いた手法では,ユーザの好みの抽出を促進するため,画像のみでなくユーザの購入履歴やレビュー情報なども組み込むことを考えている.
交叉dMSXFでは,制約条件を満たさない致死の子個体が多く生成される.それらの評価値にペナルティを課すことで生存選択の対象から除いていたが,それにより有望な形質(部分木)の情報が失われる可能性がある.2024年度は,致死個体の修正操作を適用することで形質の欠損を緩和することが課題である.
木構造抽出法では,良い木構造のためのルール抽出のため,移動エントロピーによる情報量的な枝の意味づけ,木構造の主要なスペクトル構造の抽出による代数的な特徴づけをこれまで得られており,これらと実際のデータを用いて,ユーザー嗜好性にどのような特徴量が有効かを調べる.

Report

(3 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • Research Products

    (26 results)

All 2024 2023 2022 2021

All Journal Article (5 results) (of which Peer Reviewed: 5 results,  Open Access: 5 results) Presentation (21 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] Furniture Recommendations Based on User Propensity and Furniture Style Compatibility2024

    • Author(s)
      Takeda Masayoshi、Ono Keiko、Taisho Ayumu
    • Journal Title

      IEEE Access

      Volume: 12 Pages: 21737-21744

    • DOI

      10.1109/access.2024.3363459

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Furniture Style Compatibility Estimation by Multi-Branch Deep Siamese Network2022

    • Author(s)
      Ayumu Taisho, Keiko Ono, Erina Makihara, Naoya Ikushima, Sohei Yamakawa
    • Journal Title

      Mathematical and Computational Applications

      Volume: Volume 27, Issue 5, 76 Issue: 5 Pages: 76-76

    • DOI

      10.3390/mca27050076

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Multi-Scale Feature Fusion for Interior Style Detection2022

    • Author(s)
      Akitaka Yaguchi, Keiko Ono, Erina Makihara, Naoya Ikushima, Tomomi Nakayama
    • Journal Title

      Applied Sciences

      Volume: Volume 12, Issue 19, 9761 Issue: 19 Pages: 9761-9761

    • DOI

      10.3390/app12199761

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] NN Structure Optimization using Differential Evolution with Individual Dependent Mechanism2022

    • Author(s)
      Naoya Ikushima, Keiko Ono, Erina Makihara, Sohei Yamakawa, Ryota Shinhama
    • Journal Title

      GECCO 2022 - The Genetic and Evolutionary Computation Conferenc

      Volume: - Pages: 57-58

    • DOI

      10.1145/3520304.3533943

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Differential Evolution Neural Network Optimization with Individual Dependent Mechanism2021

    • Author(s)
      Ikushima Naoya、Ono Keiko、Maeda Yuya、Makihara Erina、Hanada Yoshiko
    • Journal Title

      Proceedings of 2021 IEEE Congress on Evolutionary Computation (CEC)

      Volume: - Pages: 2523-2530

    • DOI

      10.1109/cec45853.2021.9504713

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] 欠損データ下における家具の組み合わせを用いたユーザ趣向抽出2024

    • Author(s)
      菅原 茂剛, 小野 景子
    • Organizer
      第147回数理モデル化と問題解決・第77回バイオ情報学研究発表会
    • Related Report
      2023 Research-status Report
  • [Presentation] Siamese networkを用いた質感とデザインに基づく椅子画像分類2023

    • Author(s)
      井澤 晋, 竹田 将好, 小野 景子
    • Organizer
      第143回数理モデル化と問題解決・第74回バイオ情報学研究発表会
    • Related Report
      2023 Research-status Report
  • [Presentation] LSTMによる脳波の周波数および時間領域特徴量を用いた感情推定2023

    • Author(s)
      岡 颯人, 谷 祐貴, 小野 景子
    • Organizer
      第143回数理モデル化と問題解決・第74回バイオ情報学研究発表会
    • Related Report
      2023 Research-status Report
  • [Presentation] MLPを用いた脳波に基づいた感情推定モデルの構築2023

    • Author(s)
      薗部 匡矢, 小野 景子
    • Organizer
      日本知能情報ファジィ学会 (SOFT)
    • Related Report
      2023 Research-status Report
  • [Presentation] ユーザの潜在嗜好推定に基づくGANによるインテリア画像生成2023

    • Author(s)
      酒部 健太郎, 花本 凪, 小野 景子
    • Organizer
      進化計算シンポジウム2023
    • Related Report
      2023 Research-status Report
  • [Presentation] 深層強化学習ベースの適応的差分進化によるNeural Network最適化法2023

    • Author(s)
      花本 凪, 小野 景子, 谷祐貴
    • Organizer
      進化計算シンポジウム2023
    • Related Report
      2023 Research-status Report
  • [Presentation] 遺伝的プログラミングにおける多段階探索交叉の近傍生成法の改良2023

    • Author(s)
      柿迫航輔,花田良子
    • Organizer
      電気学会 電子・情報・システム部門大会(2023)
    • Related Report
      2023 Research-status Report
  • [Presentation] 正規行列をシステム行列にもつ低ランクKalmanフィルタの解析2023

    • Author(s)
      都築大樹,大木健太郎
    • Organizer
      第66回自動制御連合講演会
    • Related Report
      2023 Research-status Report
  • [Presentation] Objective-aware Attention Branch Network for Interior scene style recognition2023

    • Author(s)
      Kentaro Fukao, Keiko Ono, Yuki Tani
    • Organizer
      IEEE Systems Man and Cybernetics 2023
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] LDAを用いたインテリア画像の潜在特徴量分析2022

    • Author(s)
      松村侑真, 矢口瑛貴, 小野景子, 槇原絵里奈, 花田良子
    • Organizer
      Fuzzy System Symposium 2022
    • Related Report
      2022 Research-status Report
  • [Presentation] 脳波に基づく感情推定モデルのAttention機構による可視化2022

    • Author(s)
      中山知美, 矢口瑛貴, 小野景子, 槇原絵里奈
    • Organizer
      生命ソフトウェア・感性工房・而立の会 合同シンポジウム 2022
    • Related Report
      2022 Research-status Report
  • [Presentation] インテリアシーン分類のための階層的Attention Branch Network2022

    • Author(s)
      深尾賢太郎, 小野景子, 槇原絵里奈, 竹田将好
    • Organizer
      生命ソフトウェア・感性工房・而立の会 合同シンポジウム 2022
    • Related Report
      2022 Research-status Report
  • [Presentation] 雑音駆動型量子アニーリングの検討2022

    • Author(s)
      江波祥樹,大木健太郎
    • Organizer
      第66回システム制御情報学会研究発表会(SCI’22)
    • Related Report
      2022 Research-status Report
  • [Presentation] Order/Radix Problemにおけるスイッチ数自動調整機能を持つ最適化アルゴリズムの提案2022

    • Author(s)
      塚本雅生,花田良子,中尾昌広,山本啓二
    • Organizer
      第27回日本計算工学会(2022)
    • Related Report
      2022 Research-status Report
  • [Presentation] ルールベースを用いた家具推薦システムにおけるハイパパラメータの探索2022

    • Author(s)
      菅原茂剛, 矢口瑛貴, 槇原絵里奈, 小野景子
    • Organizer
      第49回 知能システムシンポジウム
    • Related Report
      2021 Research-status Report
  • [Presentation] 感情を考慮した画像とテキスト情報に基づいたインテリア画像分類2022

    • Author(s)
      竹田将好, 大正歩夢, 小野景子, 槇原絵里奈
    • Organizer
      知能システムシンポジウム
    • Related Report
      2021 Research-status Report
  • [Presentation] 畳み込みニューラルネットワークによる画像の感情価と感動度予測における学習画像の影響度調査2022

    • Author(s)
      薗部匡矢, 中山知美, 槇原絵里奈, 小野景子
    • Organizer
      第17回日本感性工学会春季大会
    • Related Report
      2021 Research-status Report
  • [Presentation] インテリアシーン分類のための特徴量融合ニューラルネットワーク2022

    • Author(s)
      深尾賢太郎, 大正歩夢, 槇原絵里奈, 小野景子
    • Organizer
      第17回日本感性工学会春季大会
    • Related Report
      2021 Research-status Report
  • [Presentation] 色情報を考慮したBoVW による空間特徴量抽出法の提案2021

    • Author(s)
      矢口瑛貴, 小野景子, 槇原絵里奈, 大正歩夢, 中山知美
    • Organizer
      第23回日本感性工学会大会
    • Related Report
      2021 Research-status Report
  • [Presentation] 遺伝的プログラミングによる人の行動パターンを模した巡回ロボットの行動則の最適化2021

    • Author(s)
      柿迫航輔,冨永航太,花田良子
    • Organizer
      計測自動制御学会 システム・情報部門 学術講演会 2021
    • Related Report
      2021 Research-status Report
  • [Presentation] 移動エントロピーによるダイナミカルシステムのモデル次数選択2021

    • Author(s)
      渡辺陵真,大木健太郎
    • Organizer
      第64回自動制御連合講演会
    • Related Report
      2021 Research-status Report

URL: 

Published: 2021-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi