エッジAI時代の超低演算量・低容量化を実現する汎用深層学習理論の構築

2023 年度 実績報告書

• 研究課題/領域番号: 21H03456
• 配分区分: 補助金
• 研究機関: 北海道大学
• 研究代表者: 小川 貴弘 北海道大学, 情報科学研究院, 教授 (20524028)
• 研究分担者: 前田 圭介 北海道大学, 情報科学研究院, 特任助教 (20798243) [辞退] ; 藤後 廉 北海道大学, 情報科学研究院, 特任助教 (60840395)
• 研究期間 (年度): 2021-04-01 – 2026-03-31
• キーワード: 人工知能 / IoT / エッジAI / モデルクローニング / クロスモーダル知識転移 / 少量データ学習 / スパース表現

研究実績の概要

本研究課題では、エッジAI時代の超低演算量・低容量化を実現する汎用深層学習理論の構築を目指している。研究代表者が進めてきた低演算量・低容量バイナリスパース表現技術とクロスモーダル埋め込み技術の研究を融合させ、AIの演算量と学習データ量を大幅に削減可能な新たな理論を構築する。具体的に、最先端の深層学習モデルをバイナリスパース表現により模倣し、さらに、他のモダリティからの知識転移を行うことで、深層学習の利点である高い精度を保持しつつ、演算量削減と学習データ量の小規模化を同時に実現する。本研究課題では、構築理論の汎用性を示すとともに、エッジデバイス上での評価検証を行う。尚、本研究課題は研究分担者とともに、実施項目である「① モデルクローニング技術の実現による演算量の削減」および「② クロスモーダル知識転移技術の実現による学習データ量の小規模化」を実施する。
令和5年度は、「バイナリスパース深層学習モデルの汎用性拡張」を目指し、研究を遂行した。具体的に、フェーズ２にて構築したバイナリスパース深層学習モデルを拡張し、画像の認識・意味理解等、より高度かつ汎用なタスクに適用可能なモデルの実現を目指すとともに、新たなモデル最適化の方法論を確立した。まず、複数の深層学習モデルの中間層との相関を最大化するマルチビュークロスモーダル埋め込み理論を構築し、最適なモデルからの適応的なクローニングを可能にする手法を実現した。最終的には、大規模な演算量削減と学習データ量の小規模化を実現した。関連する研究成果の対外発表についても積極的に行い、画像処理分野におけるトップ国際会議ICIPへの採択や、信号処理分野のトップ国際会議ICASSPへの採択に至った。

現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

本研究課題では、「① モデルクローニング技術の実現による演算量の削減」および「② クロスモーダル知識転移技術の実現による学習データ量の小規模化」を主な軸として研究を進めている。5つのフェーズ（【フェーズ1】バイナリスパース制約付クロスモーダル埋め込み理論の実現、【フェーズ2】バイナリスパース深層学習モデルの実現、【フェーズ3】バイナリスパース深層学習モデルの汎用性拡張、【フェーズ4】モデルの軽量化と低容量化、【フェーズ5】エッジデバイスへの適用と実現理論の横展開）を配しており、各年度で実施する予定である。
令和5年度は、令和3年度に【フェーズ1】、令和4年度に【フェーズ2】が当初の予定通り完了したことから、計画通り【フェーズ3】を実施した。フェーズ２にて構築したバイナリスパース深層学習モデルを拡張し、画像の認識・意味理解等、より高度かつ汎用なタスクに適用可能なモデルの実現を目指すとともに、新たなモデル最適化の方法論を確立した。このとき、クローニング対象となる複数の深層学習モデル間での冗長性を評価する損失関数を新たに加えることで、中間層出力間の相関推定に不要なモデルの影響を低減することを可能とした。なお、この最適化には膨大な組み合わせが存在するが、従来、特徴選択の研究において、関連性と冗長性の損失関数を併存させて最適化するアルゴリズムが多数存在することから、その活用を行った。さらに、次フェーズである「【フェーズ4】モデルの軽量化と低容量化」にも先行着手し、Teacher-Studentモデルに基づく知識蒸留やデータ蒸留手法を開発している。研究成果の対外発表も積極的に行っており、信号処理分野のトップ国際会議ICASSPや画像処理分野のトップ国際会議ICIPへ研究成果が採択されている。

今後の研究の推進方策

令和5年度では、当初の予定通り「【フェーズ3】バイナリスパース深層学習モデルの汎用性拡張」に取り組んだ。また、次フェーズのモデルの軽量化と低容量化についても先行着手した。
令和6年度では、バイナリスパース深層学習モデルバイナリスパース深層学習モデル内に生じる冗長性に注目する。前フェーズまでに構築した理論によって、異なるモデル・モダリティに対する最適化が実現される。一方で、前フェーズまでに構築されたモデルでは、その内部の最適化までは考慮されていない。そこで、本フェーズでは、クロスモーダル埋め込み理論を高度化することで、バイナリスパース深層学習版のモデル蒸留を実現する。具体的に、同一モデル内の中間層出力間の相関に注目し、互いに相関が高い中間層間の省略を可能にすることで、モデルの軽量化を実現する。また、研究代表者は先行研究で、スパース表現係数のみからの辞書再構成を可能にする自己組織化辞書学習を実現している。本研究課題においてスパース表現係数と辞書はそれぞれ、バイナリ中間層出力およびモデルパラメータに対応する。したがって、この導入により一部のバイナリ中間層出力を保持するだけでモデルパラメータを再構成可能なモデルの低容量化を実現する。加えて、知識蒸留やデータ蒸留等のより発展的な軽量化・低容量化のアプローチにも着手しており、多様な観点から軽量化・低容量化のアプローチを試みる予定である。なお、令和6年度についても得られた研究成果の横展開を拡張し、画像処理分野における世界最大規模の国際会議ICIPや信号処理分野における世界最大規模の国際会議ICASSP、そして、IEEE Transactions on Signal Processing等の権威ある学術論文誌への投稿を積極的に行う予定である。

研究成果

• [雑誌論文] Flexibly manipulating popularity bias for tackling trade-offs in recommendation (2024)
  • 著者名/発表者名: Okamura Hiroki、Maeda Keisuke、Togo Ren、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: Information Processing and Management 巻: 61 ページ: 103606～103606
  • DOI: 10.1016/j.ipm.2023.103606
  • 査読あり
• [雑誌論文] Zero-Shot Visual Sentiment Prediction via Cross-Domain Knowledge Distillation (2024)
  • 著者名/発表者名: Moroto Yuya、Ye Yingrui、Maeda Keisuke、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: IEEE Open Journal of Signal Processing 巻: 5 ページ: 177～185
  • DOI: 10.1109/OJSP.2023.3344079
  • 査読あり / オープンアクセス
• [雑誌論文] Text-Guided Image Editing Based on Post Score for Gaining Attention on Social Media (2024)
  • 著者名/発表者名: Watanabe Yuto、Togo Ren、Maeda Keisuke、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: Sensors 巻: 24 ページ: 921～921
  • DOI: 10.3390/s24030921
  • 査読あり
• [雑誌論文] Parameter-efficient tuning of cross-modal retrieval for a specific database via trainable textual and visual prompts (2024)
  • 著者名/発表者名: Zhang Huaying、Yanagi Rintaro、Togo Ren、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: International Journal of Multimedia Information Retrieval 巻: 13 ページ: -
  • DOI: 10.1007/s13735-024-00322-y
  • 査読あり
• [雑誌論文] Individual Persistence Adaptation for User-Centric Evaluation of User Satisfaction in Recommender Systems (2024)
  • 著者名/発表者名: Onodera Nozomu、Maeda Keisuke、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: IEEE Access 巻: 12 ページ: 23626～23635
  • DOI: 10.1109/ACCESS.2024.3360693
  • 査読あり / オープンアクセス
• [雑誌論文] Self-supervised learning for gastritis detection with gastric X-ray images (2023)
  • 著者名/発表者名: Li Guang、Togo Ren、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: International Journal of Computer Assisted Radiology and Surgery 巻: 18 ページ: 1841～1848
  • DOI: 10.1007/s11548-023-02891-5
  • 査読あり
• [雑誌論文] Boosting automatic COVID-19 detection performance with self-supervised learning and batch knowledge ensembling (2023)
  • 著者名/発表者名: Li Guang、Togo Ren、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: Computers in Biology and Medicine 巻: 158 ページ: 106877～106877
  • DOI: 10.1016/j.compbiomed.2023.106877
  • 査読あり
• [雑誌論文] Multi-Label Classification in Anime Illustrations Based on Hierarchical Attribute Relationships (2023)
  • 著者名/発表者名: Lan Ziwen、Maeda Keisuke、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: Sensors 巻: 23 ページ: 4798～4798
  • DOI: 10.3390/s23104798
  • 査読あり / オープンアクセス
• [雑誌論文] Off-Screen Sound Separation Based on Audio-visual Pre-training Using Binaural Audio (2023)
  • 著者名/発表者名: Yoshida Masaki、Togo Ren、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: Sensors 巻: 23 ページ: 4540～4540
  • DOI: 10.3390/s23094540
  • 査読あり / オープンアクセス
• [雑誌論文] Gaze-Dependent Image Re-Ranking Technique for Enhancing Content-Based Image Retrieval (2023)
  • 著者名/発表者名: Feng Yuhu、Maeda Keisuke、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: Applied Sciences 巻: 13 ページ: 5948～5948
  • DOI: 10.3390/app13105948
  • 査読あり / オープンアクセス
• [雑誌論文] Text-Guided Image Manipulation via Generative Adversarial Network With Referring Image Segmentation-Based Guidance (2023)
  • 著者名/発表者名: Watanabe Yuto、Togo Ren、Maeda Keisuke、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: IEEE Access 巻: 11 ページ: 42534～42545
  • DOI: 10.1109/ACCESS.2023.3269847
  • 査読あり / オープンアクセス
• [雑誌論文] Prediction of Shooting Events in Soccer Videos Using Complete Bipartite Graphs and Players’ Spatial-Temporal Relations (2023)
  • 著者名/発表者名: Goka Ryota、Moroto Yuya、Maeda Keisuke、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: Sensors 巻: 23 ページ: 4506～4506
  • DOI: 10.3390/s23094506
  • 査読あり / オープンアクセス
• [雑誌論文] Multimodal Natural Language Explanation Generation for Visual Question Answering Based on Multiple Reference Data (2023)
  • 著者名/発表者名: Zhu He、Togo Ren、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: Electronics 巻: 12 ページ: 2183～2183
  • DOI: 10.3390/electronics12102183
  • 査読あり / オープンアクセス
• [雑誌論文] データ横断型対照学習を用いた道路構造物における変状画像の劣化レベル分類 (2023)
  • 著者名/発表者名: 東 孝明、小川 直輝、前田 圭介、小川 貴弘、長谷山 美紀
  • 雑誌名: AI・データサイエンス論文集 巻: 4 ページ: 44～57
  • DOI: 10.11532/jsceiii.4.2_44
  • 査読あり
• [雑誌論文] Developing technologies for the practical application of deep learning-based distress segmentation in subway tunnel images (2023)
  • 著者名/発表者名: Zongyao LI, Keisuke MAEDA, Ren TOGO, Takahiro OGAWA, Miki HASEYAMA
  • 雑誌名: AI・データサイエンス論文集 巻: 4 ページ: 1～8
  • 査読あり
• [雑誌論文] A Gaussian Process Decoder with Spectral Mixtures and a Locally Estimated Manifold for Data Visualization (2023)
  • 著者名/発表者名: Watanabe Koshi、Maeda Keisuke、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: Applied Sciences 巻: 13 ページ: 8018～8018
  • DOI: 10.3390/app13148018
  • 査読あり / オープンアクセス
• [雑誌論文] SpectralMAP: Approximating Data Manifold With Spectral Decomposition (2023)
  • 著者名/発表者名: Watanabe Koshi、Maeda Keisuke、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: IEEE Access 巻: 11 ページ: 31530～31540
  • DOI: 10.1109/ACCESS.2023.3257427
  • 査読あり / オープンアクセス
• [雑誌論文] 画像の感情推定のためのラベル逆量子化を導入した正準相関分析 (2023)
  • 著者名/発表者名: 斉藤 直輝、前田 圭介、小川 貴弘、浅水 仁、長谷山 美紀
  • 雑誌名: 電子情報通信学会論文誌D 情報・システム 巻: J106-D ページ: 337～348
  • DOI: 10.14923/transinfj.2022JDP7029
  • 査読あり
• [雑誌論文] Dataset Distillation Using Parameter Pruning (2023)
  • 著者名/発表者名: LI Guang、TOGO Ren、OGAWA Takahiro、HASEYAMA Miki
  • 雑誌名: IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences 巻: - ページ: -
  • DOI: 10.1587/transfun.2023EAL2053
  • 査読あり
• [雑誌論文] Material Compound-Property Retrieval Using Electron Microscope Images for Rubber Material Development (2023)
  • 著者名/発表者名: Yanagi Rintaro、Togo Ren、Maeda Keisuke、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: IEEE Access 巻: 11 ページ: 88258～88264
  • DOI: 10.1109/ACCESS.2023.3304341
  • 査読あり / オープンアクセス
• [雑誌論文] Visual Emotion Recognition Through Multimodal Cyclic-Label Dequantized Gaussian Process Latent Variable Model (2023)
  • 著者名/発表者名: Saito Naoki、Maeda Keisuke、Ogawa Takahiro、Asamizu Satoshi、Haseyama Miki
  • 雑誌名: Journal of Robotics and Mechatronics 巻: 35 ページ: 1321～1330
  • DOI: 10.20965/jrm.2023.p1321
  • 査読あり
• [雑誌論文] 時系列データを用いたMulti-modal Transformerに基づく冬期路面状態の分類 (2023)
  • 著者名/発表者名: 諸戸 祐哉、前田 圭介、藤後 廉、小川 貴弘、長谷山 美紀
  • 雑誌名: AI・データサイエンス論文集 巻: 4 ページ: 402～413
  • DOI: 10.11532/jsceiii.4.3_402
  • 査読あり
• [雑誌論文] 地下鉄トンネル点検技術者の新規変状の発見率向上に向けた一人称視点映像からの変状検出 (2023)
  • 著者名/発表者名: 櫻井 慶悟、前田 圭介、藤後 廉、小川 貴弘、長谷山 美紀
  • 雑誌名: AI・データサイエンス論文集 巻: 4 ページ: 393～401
  • DOI: 10.11532/jsceiii.4.3_393
  • 査読あり
• [雑誌論文] 変状の劣化レベル判定支援に向けたグラフニューラルネットワークによるレコードデータの特徴表現の獲得 (2023)
  • 著者名/発表者名: 山本 一輝、前田 圭介、藤後 廉、小川 貴弘、長谷山 美紀
  • 雑誌名: AI・データサイエンス論文集 巻: 4 ページ: 694～704
  • DOI: 10.11532/jsceiii.4.3_694
  • 査読あり
• [雑誌論文] Visual language modelを用いた変状画像に対する所見の自動生成ー類似画像検索によるFew-shot learningの導入ー (2023)
  • 著者名/発表者名: 渡邉 優宇人、小川 直輝、前田 圭介、小川 貴弘、長谷山 美紀
  • 雑誌名: AI・データサイエンス論文集 巻: 4 ページ: 223～232
  • DOI: 10.11532/jsceiii.4.3_223
  • 査読あり
• [雑誌論文] Manipulation Direction: Evaluating Text-Guided Image Manipulation Based on Similarity between Changes in Image and Text Modalities (2023)
  • 著者名/発表者名: Watanabe Yuto、Togo Ren、Maeda Keisuke、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: Sensors 巻: 23 ページ: 9287～9287
  • DOI: 10.3390/s23229287
  • 査読あり / オープンアクセス
• [雑誌論文] 社会インフラ維持管理効率化に向けた最先端AI研究 (2023)
  • 著者名/発表者名: 前田 圭介、小川 貴弘、長谷山 美紀
  • 雑誌名: AI・データサイエンス論文集 巻: 4 ページ: 982～989
  • DOI: 10.11532/jsceiii.4.3_982
  • 査読あり
• [雑誌論文] セマンティックセグメンテーションに基づく道路走行中の車載映像を用いた枯損木の検出 (2023)
  • 著者名/発表者名: 小川 直輝、前田 圭介、小川 貴弘、長谷山 美紀
  • 雑誌名: AI・データサイエンス論文集 巻: 4 ページ: 686～693
  • DOI: 10.11532/jsceiii.4.3_686
  • 査読あり
• [雑誌論文] 社会インフラ点検時の変状画像を対象とした変状種と劣化レベルのマルチタスク分類 (2023)
  • 著者名/発表者名: 小川 直輝、前田 圭介、小川 貴弘、長谷山 美紀
  • 雑誌名: AI・データサイエンス論文集 巻: 4 ページ: 807～814
  • DOI: 10.11532/jsceiii.4.3_807
  • 査読あり
• [雑誌論文] Attention-based Multiple Instance Learningに基づく背景の多様性に頑健な道路附属物の異状判定 (2023)
  • 著者名/発表者名: 渡部 航史、小川 直輝、前田 圭介、小川 貴弘、長谷山 美紀
  • 雑誌名: AI・データサイエンス論文集 巻: 4 ページ: 482～489
  • DOI: 10.11532/jsceiii.4.3_482
  • 査読あり
• [雑誌論文] Zero-Shot Neural Decoding with Semi-Supervised Multi-View Embedding (2023)
  • 著者名/発表者名: Akamatsu Yusuke、Maeda Keisuke、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: Sensors 巻: 23 ページ: 6903～6903
  • DOI: 10.3390/s23156903
  • 査読あり / オープンアクセス
• [雑誌論文] Zero-Shot Traffic Sign Recognition Based on Midlevel Feature Matching (2023)
  • 著者名/発表者名: Gan Yaozong、Li Guang、Togo Ren、Maeda Keisuke、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: Sensors 巻: 23 ページ: 9607～9607
  • DOI: 10.3390/s23239607
  • 査読あり / オープンアクセス
• [雑誌論文] TolerantGAN: Text-guided Image Manipulation Tolerant to Real-world Image (2023)
  • 著者名/発表者名: Watanabe Yuto、Togo Ren、Maeda Keisuke、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: IEEE Open Journal of Signal Processing 巻: - ページ: 1～10
  • DOI: 10.1109/OJSP.2023.3343335
  • 査読あり / オープンアクセス
• [雑誌論文] Machine learning based gait analysis to predict clinical frailty scale in elderly patients with heart failure (2023)
  • 著者名/発表者名: Mizuguchi Yoshifumi、Nakao Motoki、Nagai Toshiyuki、Takahashi Yuki、Abe Takahiro、Kakinoki Shigeo、Imagawa Shogo、Matsutani Kenichi、Saito Takahiko、Takahashi Masashige、Kato Yoshiya、Komoriyama Hirokazu、Hagiwara Hikaru、Hirata Kenji、Ogawa Takahiro、Shimizu Takuto、Otsu Manabu、Chiyo Kunihiro、Anzai Toshihisa
  • 雑誌名: European Heart Journal - Digital Health 巻: - ページ: -
  • DOI: 10.1093/ehjdh/ztad082
  • 査読あり
• [雑誌論文] Source-Data-Free Cross-Domain Knowledge Transfer for Semantic Segmentation (2023)
  • 著者名/発表者名: Li Zongyao、Togo Ren、Ogawa Takahiro、Haseyama Miki
  • 雑誌名: IEEE Open Journal of Signal Processing 巻: - ページ: 1～10
  • DOI: 10.1109/OJSP.2023.3340616
  • 査読あり / オープンアクセス
• [学会発表] 双方向Transformerに基づいたサッカー選手のイベントデータからの行動推定に関する検討 (2024)
  • 著者名/発表者名: 五箇 亮太, 諸戸 祐哉, 前田 圭介, 小川 貴弘, 長谷山 美紀
  • 学会等名: 映像情報メディア学会技術報告
• [学会発表] 視覚言語モデルにおける注目する特徴を指定可能なドメイン適応に関する検討 (2024)
  • 著者名/発表者名: 岡村 洋希, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀
  • 学会等名: 映像情報メディア学会技術報告
• [学会発表] [特別講演] 橋梁点検効率化のための生成AIを用いた所見生成技術 (2024)
  • 著者名/発表者名: 渡邉 優宇人, 小川 直輝, 前田 圭介, 小川 貴弘, 長谷山 美紀
  • 学会等名: 映像情報メディア学会技術報告
• [学会発表] [特別講演] 音声認識・生成AIを用いた通報音声からの事象発生地点予測 (2024)
  • 著者名/発表者名: 吉田 将規, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀
  • 学会等名: 映像情報メディア学会技術報告
• [学会発表] ［特別講演］道路附属物のドローン映像を用いたvision transformerに基づく変状検出技術 (2024)
  • 著者名/発表者名: 渡部 航史, 小川 直輝, 前田 圭介, 小川 貴弘, 長谷山 美紀
  • 学会等名: 映像情報メディア学会技術報告
• [学会発表] モーションデータを用いたSpatial Temporal Attention Graph Convolutional Networkによる熟練度分類の高精度化に関する検討 (2024)
  • 著者名/発表者名: 清野 竜生, 斉藤 直輝, 小川 貴弘, 浅水 仁, 長谷山 美紀
  • 学会等名: 映像情報メディア学会技術報告
• [学会発表] 画像注視時の脳活動データを用いた Stable Diffusion に基づくテキストからの画像生成に関する検討 －潜在空間における脳活動データに基づく制御機構の導入－ (2024)
  • 著者名/発表者名: 七田 亮, 藤後 廉, 前田 圭介, 小川 貴弘, 長谷山 美紀
  • 学会等名: 映像情報メディア学会技術報告
• [学会発表] 物体の属性と関係性を考慮したマルチモーダル大規模言語モデルの高精度化に関する検討 (2024)
  • 著者名/発表者名: 大羽賀 駿也, 藤後 廉, 小川 貴弘, 長谷山 美紀
  • 学会等名: 映像情報メディア学会技術報告
• [学会発表] ［特別講演］次世代インフラ維持管理に向けた研究と北海道開発局との連携協定における取組み (2024)
  • 著者名/発表者名: 前田 圭介, 小川 貴弘, 長谷山 美紀
  • 学会等名: 映像情報メディア学会技術報告
• [学会発表] アメリカンフットボールにおける選手位置情報を利用したパス可能領域の推定に関する一検討 (2024)
  • 著者名/発表者名: 河合 雅斗, 柳 凜太郎, 藤後 廉, 小川 貴弘, 長谷山 美紀
  • 学会等名: 映像情報メディア学会技術報告
• [学会発表] Neural radiance fields におけるreduced reference 画質評価に関する一検討 (2024)
  • 著者名/発表者名: 河合 雅斗, 柳 凜太郎, 藤後 廉, 小川 貴弘, 長谷山 美紀
  • 学会等名: 映像情報メディア学会技術報告
• [学会発表] 異分野連携によるデータ駆動型のAI研究に関する取組 (2024)
  • 著者名/発表者名: 藤後 廉, 李 広, 小川 貴弘, 長谷山 美紀
  • 学会等名: フォトエキサイトニクス研究拠点 第6回研究会
• [学会発表] Gromov-wasserstein autoencoders (2023)
  • 著者名/発表者名: Nao Nakagawa, Ren Togo, Takahiro Ogawa, Miki Haseyama
  • 学会等名: The Eleventh International Conference on Learning Representations (ICLR 2023)
  • 国際学会
• [学会発表] Learning graph Laplacian from intrinsic patterns via Gaussian process (2023)
  • 著者名/発表者名: Koshi Watanabe, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2023)
  • 国際学会
• [学会発表] Proficiency-level estimation using heterogeneous features via label dequantized CCA (2023)
  • 著者名/発表者名: Tatsuki Seino, Naoki Saito, Takahiro Ogawa, Satoshi Asamizu, Miki Haseyama
  • 学会等名: 2023 IEEE International Conference on Consumer Electronics-Taiwan (ICCE-TW 2023)
  • 国際学会
• [学会発表] Estimation of amyloid-β positivity using QSM images considering age information (2023)
  • 著者名/発表者名: Tsubasa Kunieda, Ren Togo, Noriko Nishioka, Yukie Shimizu, Shiro Watanabe, Kenji Hirata, Keisuke Maeda, Takahiro Ogawa, Kohsuke Kudo, Miki Haseyama
  • 学会等名: 2023 IEEE International Conference on Consumer Electronics-Taiwan (ICCE-TW 2023)
  • 国際学会
• [学会発表] Estimation of visual contents from human brain signals via VQA based on brain-specific attention (2023)
  • 著者名/発表者名: Ryo Shichida, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2023)
  • 国際学会
• [学会発表] Binauralization robust to camera rotation using 360° videos (2023)
  • 著者名/発表者名: Masaki Yoshida, Ren Togo, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2023)
  • 国際学会
• [学会発表] Binaural audio generation with data augmentation from 360° videos (2023)
  • 著者名/発表者名: Masaki Yoshida, Ren Togo, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 2023 IEEE International Conference on Consumer Electronics-Taiwan (ICCE-TW 2023)
  • 国際学会
• [学会発表] Shoot event prediction in soccer considering expected goals based on players’ positions (2023)
  • 著者名/発表者名: Ryota Goka, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 2023 IEEE International Conference on Consumer Electronics-Taiwan (ICCE-TW 2023)
  • 国際学会
• [学会発表] Prediction of shoot events by considering spatio-temporal relations of multimodal features (2023)
  • 著者名/発表者名: Ryota Goka, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 2023 IEEE International Conference on Consumer Electronics-Taiwan (ICCE-TW 2023)
  • 国際学会
• [学会発表] Defense against black-box adversarial attacks via heterogeneous fusion features (2023)
  • 著者名/発表者名: Jiahuan Zhang, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2023)
  • 国際学会
• [学会発表] Improving dropout in graph convolutional networks for recommendation via contrastive loss (2023)
  • 著者名/発表者名: Hiroki Okamura, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2023)
  • 国際学会
• [学会発表] A medical domain visual question generation model via large language model (2023)
  • 著者名/発表者名: He Zhu, Ren Togo, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 2023 IEEE International Conference on Consumer Electronics-Taiwan (ICCE-TW 2023)
  • 国際学会
• [学会発表] Text-guided facial image manipulation for wild images via manipulation direction-based loss (2023)
  • 著者名/発表者名: Yuto Watanabe, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 2023 IEEE International Conference on Image Processing (ICIP 2023)
  • 国際学会
• [学会発表] Parameter-efficient tuning of a pre-trained model via prompt learning in cross-modal retrieval (2023)
  • 著者名/発表者名: Huaying Zhang, Rintaro Yanagi, Ren Togo, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 2023 IEEE International Conference on Consumer Electronics-Taiwan (ICCE-TW 2023)
  • 国際学会
• [学会発表] Recallable question answering-based re-ranking considering semantic region for cross-modal retrieval (2023)
  • 著者名/発表者名: Rintaro Yanagi, Ren Togo, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2023)
  • 国際学会
• [学会発表] Multi-view variational recurrent neural network for human emotion recognition using multi-modal biological signals (2023)
  • 著者名/発表者名: Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 2023 IEEE International Conference on Image Processing (ICIP 2023)
  • 国際学会
• [学会発表] Video-music retrieval with fine-grained cross-modal alignment (2023)
  • 著者名/発表者名: Yuki Era, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 2023 IEEE International Conference on Image Processing (ICIP 2023)
  • 国際学会
• [学会発表] Skill level classification using motion data via spatial temporal graph convolutional network (2023)
  • 著者名/発表者名: Tatsuki Seino, Naoki Saito, Takahiro Ogawa, Satoshi Asamizu, Miki Haseyama
  • 学会等名: 2023 IEEE 12th Global Conference on Consumer Electronics (GCCE 2023)
  • 国際学会
• [学会発表] Interpretable visual question answering referring to outside knowledge (2023)
  • 著者名/発表者名: He Zhu, Ren Togo, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 2023 IEEE International Conference on Image Processing (ICIP 2023)
  • 国際学会
• [学会発表] Feature integration via back-projection ordering multi-modal Gaussian process latent variable model for rating prediction (2023)
  • 著者名/発表者名: Kyohei Kamikawa, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 2023 IEEE International Conference on Image Processing (ICIP 2023)
  • 国際学会
• [学会発表] Bundle detection based on graph convolutional network considering categorical hierarchical relationship (2023)
  • 著者名/発表者名: Keigo Sakurai, Ren Togo, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 2023 IEEE 12th Global Conference on Consumer Electronics (GCCE 2023)
  • 国際学会
• [学会発表] Text-to-image diffusion model suppressing catastrophic forgetting via elastic weight consolidation (2023)
  • 著者名/発表者名: Haruka Matsuda, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 2023 IEEE 12th Global Conference on Consumer Electronics (GCCE 2023)
  • 国際学会
• [学会発表] Deterioration level estimation for infrastructures considering noisy labels via dividemix (2023)
  • 著者名/発表者名: Masaki Kashiwagi, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 2023 IEEE 12th Global Conference on Consumer Electronics (GCCE 2023)
  • 国際学会
• [学会発表] A controllable recoloring method for novel views using segment anything model (2023)
  • 著者名/発表者名: Haoyang Wang, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 2023 IEEE 12th Global Conference on Consumer Electronics (GCCE 2023)
  • 国際学会
• [学会発表] Novel feature extraction for classification of auditory-visual stimuli from fNIRS signals (2023)
  • 著者名/発表者名: Taro Togo, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 2023 IEEE 12th Global Conference on Consumer Electronics (GCCE 2023)
  • 国際学会
• [学会発表] Improving visual counterfactual explanation models for image classification via CLIP (2023)
  • 著者名/発表者名: Xiang Li, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 2023 IEEE 12th Global Conference on Consumer Electronics (GCCE 2023)
  • 国際学会
• [学会発表] Caption unification for multiple viewpoint lifelogging images and its verification (2023)
  • 著者名/発表者名: Masaya Sato, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 2023 IEEE 12th Global Conference on Consumer Electronics (GCCE 2023)
  • 国際学会
• [学会発表] Personalized content recommender system via non-verbal interaction using face mesh and facial expression (2023)
  • 著者名/発表者名: Yuya Moroto, Rintaro Yanagi, Naoki Ogawa, Kyohei Kamikawa, Keigo Sakurai, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
  • 学会等名: ACM International Conference on Multimedia 2023 (ACM MM 2023)
  • 国際学会
• [学会発表] Estimating graph topology with smooth latent signals via Gaussian process (2023)
  • 著者名/発表者名: Koshi Watanabe, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
  • 学会等名: International Workshop on the New Frontiers in Convergence Science and Technology: The 26th HU-SNU Joint Symposium Satellite Session
  • 国際学会
• [学会発表] Visually guided binaural audio generation considering camera rotation (2023)
  • 著者名/発表者名: Masaki Yoshida, Ren Togo, Takahiro Ogawa, Miki Haseyama
  • 学会等名: International Workshop on the New Frontiers in Convergence Science and Technology: The 26th HU-SNU Joint Symposium Satellite Session
  • 国際学会
• [学会発表] Real-world application of multimedia artificial intelligence and development of its sustainable improvement technology (2023)
  • 著者名/発表者名: Takahiro Ogawa
  • 学会等名: International Workshop on the New Frontiers in Convergence Science and Technology: The 26th HU-SNU Joint Symposium Satellite Session
  • 国際学会 / 招待講演
• [学会発表] Machine learning-based automatic rating of clinical frailty scale in patients with heart failure: a pilot study (2023)
  • 著者名/発表者名: Yoshifumi Mizuguchi, Motoki Nakao, Toshiyuki Nagai, Yuki Takahashi, Takahiro Abe, Shogo Imagawa, Kenichi Matsutani, Takahiko Saito, Kenji Hirata, Takahiro Ogawa, Takuto Shimizu, Manabu Otsu, Kunihiro Chiyo, Toshihisa Anzai
  • 学会等名: American College of Cardiology Scientific Session 2023
  • 国際学会
• [学会発表] Machine learning-based prediction of clinical frailty scale based on gait analysis in elderly patients with heart failure (2023)
  • 著者名/発表者名: Motoki Nakao, Toshiyuki Nagai, Yoshifumi Mizuguchi, Yuki Takahashi, Takahiro Abe, Shigeo Kakinoki, Shogo Imagawa, Kenichi Matsutani, Takahiko Saito, Masashige Takahashi, Kenji Hirata, Takahiro Ogawa, Takuto Shimizu, Manabu Otsu, Kunihiro Chiyo, Toshihisa Anzai
  • 学会等名: American Heart Association Scientific Sessions 2023
  • 国際学会
• [学会発表] Dataset distillation via self-adaptive parameter matching (2023)
  • 著者名/発表者名: Guang Li, Ren Togo, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 第26回 画像の認識・理解シンポジウム (MIRU2023)
• [学会発表] Feature integration introducing back-projection based on ordering in labels for rating prediction (2023)
  • 著者名/発表者名: Kyohei Kamikawa, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 第26回 画像の認識・理解シンポジウム (MIRU2023)
• [学会発表] Source-data-free domain-adaptive semantic segmentation with inter-domain and intra-domain style transfer (2023)
  • 著者名/発表者名: Zongyao Li, Ren Togo, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 第26回 画像の認識・理解シンポジウム (MIRU2023)
• [学会発表] Human emotion recognition while viewing images based on multi-view variational recurrent neural network (2023)
  • 著者名/発表者名: Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 第26回 画像の認識・理解シンポジウム (MIRU2023)
• [学会発表] Zero-shot visual sentiment prediction with cross-domain sentiments using knowledge distillation (2023)
  • 著者名/発表者名: Yingrui Ye, Yuya Moroto, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 第26回 画像の認識・理解シンポジウム (MIRU2023)
• [学会発表] Text-guided image manipulation tolerant to real-world image (2023)
  • 著者名/発表者名: Yuto Watanabe, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
  • 学会等名: 第26回 画像の認識・理解シンポジウム (MIRU2023)
• [学会発表] Spatial Temporal Attention Graph Convolutional Network によるモーションデータを用いた熟練度の分類に関する検討 (2023)
  • 著者名/発表者名: 清野 竜生, 斉藤 直輝, 小川 貴弘, 浅水 仁, 長谷山 美紀
  • 学会等名: 令和5年度 電気・情報関係学会北海道支部連合大会
• [学会発表] 視覚反実仮想機械学習モデルにおける精度向上に関する一検討 - 特徴抽出モデルが精度に与える影響の検証 - (2023)
  • 著者名/発表者名: 李 想, 藤後 廉, 前田 圭介, 小川 貴弘, 長谷山 美紀
  • 学会等名: 令和5年度 電気・情報関係学会北海道支部連合大会
• [学会発表] In-context Learning を用いた複数視点ライフログ画像のキャプションの統一化に関する検討 (2023)
  • 著者名/発表者名: 佐藤 雅也, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀
  • 学会等名: 令和5年度 電気・情報関係学会北海道支部連合大会
• [学会発表] 事前学習済みモデルを用いたラベル修正に基づくNoisy Labels Learningの精度向上に関する検討 (2023)
  • 著者名/発表者名: 柏木 將希, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀
  • 学会等名: 令和5年度 電気・情報関係学会北海道支部連合大会
• [学会発表] 拡散モデルによる画像生成における複数対象へのパーソナライズ手法に関する検討 (2023)
  • 著者名/発表者名: 松田 遥, 藤後 廉, 前田 圭介, 小川 貴弘, 長谷山 美紀
  • 学会等名: 令和5年度 電気・情報関係学会北海道支部連合大会
• [学会発表] マルチモーダル大規模言語モデルを用いた fMRI からの言語情報の推定に関する検討 - In-context Learning に基づく時系列聴覚刺激からの言語情報の推定 - (2023)
  • 著者名/発表者名: 藤後 太郎, 藤後 廉, 前田 圭介, 小川 貴弘, 長谷山 美紀
  • 学会等名: 令和5年度 電気・情報関係学会北海道支部連合大会
• [学会発表] 画像とテキストの関係性を考慮したtextual Inversionに基づくzero-shot composed image retrieval手法に関する検討 (2023)
  • 著者名/発表者名: 張 華瀛, 柳 凜太郎, 藤後 廉, 小川 貴弘, 長谷山 美紀
  • 学会等名: 令和5年度 電気・情報関係学会北海道支部連合大会
• [備考] 小川貴弘HP
  • URL: https://www-lmd.ist.hokudai.ac.jp/member/takahiro-ogawa/