• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2021 年度 実績報告書

機械可読時代における文字科学の創成と応用展開

研究課題

研究課題/領域番号 17H06100
研究機関九州大学

研究代表者

内田 誠一  九州大学, システム情報科学研究院, 教授 (70315125)

研究分担者 柳井 啓司  電気通信大学, 大学院情報理工学研究科, 教授 (20301179)
牛久 祥孝  オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, プリンシパルインベスティゲーター (10784142)
研究期間 (年度) 2017-05-31 – 2022-03-31
キーワード文字 / フォント / デザイン / 印象 / 機械学習 / 自然言語処理
研究実績の概要

最終年度である本年度も,文字の4機能すなわち,「周囲の明確化(ラベル)」「知識・意味伝達機能(メッセージ)」「雰囲気伝達(デザイン)」「可読性維持(通信符号)」について,様々な研究を実施した.例えばデザインについて,フォント印象と局所形状の相関解析,フォント印象の形状の共潜在空間埋め込み,特定印象を持ったフォントの自動生成,タイポグラフィデザインの半自動生成,フォント画像からの年代推定,などが挙げられる.また可読性については,文字種情報とスタイル情報の分離(disentanglement),トップランク学習を用いた「間違いなく識別可能」な文字画像の選出,pooling層の多文字種横断メタラーニングによる文字の主要部分の推定,強化学習による高弁別パッチの自動発見,Energy-based modeling (EBM)による文字の形状予測性,(ビットマップではなく輪郭情報として表現される)True Typeフォーマットでの文字識別,などが挙げられる.
これらいずれの研究成果についても,大規模なデータセットと最新の機械学習技術を利用することで高信頼かつ客観的な検証を行っている点は重要である.特にデザインや可読性のように従来は主観的に評価されることも多かった課題について,客観的な検証アプローチを採った点は,当研究実績のユニークな点と考える.
なお,多くの研究成果は,Pattern Recognitionなどの国際トップジャーナル,ICCV・ACMMM・ ICDAR・DASなど国際会議に採録・採択されている.

現在までの達成度 (段落)

令和3年度が最終年度であるため、記入しない。

今後の研究の推進方策

令和3年度が最終年度であるため、記入しない。

  • 研究成果

    (66件)

すべて 2022 2021 その他

すべて 国際共同研究 (4件) 雑誌論文 (29件) (うち国際共著 11件、 査読あり 29件、 オープンアクセス 7件) 学会発表 (32件) (うち国際学会 3件、 招待講演 3件) 備考 (1件)

  • [国際共同研究] Shihezi University(中国)

    • 国名
      中国
    • 外国機関名
      Shihezi University
  • [国際共同研究] ドイツ人工知能研究所(ドイツ)

    • 国名
      ドイツ
    • 外国機関名
      ドイツ人工知能研究所
  • [国際共同研究] National Univ. of Sci. & Tech.(パキスタン)

    • 国名
      パキスタン
    • 外国機関名
      National Univ. of Sci. & Tech.
  • [国際共同研究] Lulea University of Technology(スウェーデン)

    • 国名
      スウェーデン
    • 外国機関名
      Lulea University of Technology
  • [雑誌論文] Revealing Reliable Signatures by Learning Top-Rank Pairs2022

    • 著者名/発表者名
      Xiaotong Ji, Yan Zheng, Daiki Suehiro and Seiichi Uchida
    • 雑誌名

      Proceedings of the 15th IAPR International Workshop on Document Analysis Systems

      巻: - ページ: -

    • 査読あり
  • [雑誌論文] Font Shape-to-Impression Translation2022

    • 著者名/発表者名
      Masaya Ueda, Akisato Kimura and Seiichi Uchida
    • 雑誌名

      Proceedings of the 15th IAPR International Workshop on Document Analysis Systems

      巻: - ページ: -

    • 査読あり
  • [雑誌論文] TrueType Transformer: Character and Font Style Recognition in Outline Format2022

    • 著者名/発表者名
      Yusuke Nagata, Jinki Otao, Daichi Haraguchi and Seiichi Uchida
    • 雑誌名

      Proceedings of the 15th IAPR International Workshop on Document Analysis Systems

      巻: - ページ: -

    • 査読あり
  • [雑誌論文] Shared Latent Space of Font Shapes and Their Noisy Impressions2022

    • 著者名/発表者名
      Kang Jihun、Haraguchi Daichi、Matsuda Seiya、Kimura Akisato、Uchida Seiichi
    • 雑誌名

      Proceedings of the 28th International Conference on Multimedia Modeling

      巻: - ページ: 146~157

    • DOI

      10.1007/978-3-030-98355-0_13

    • 査読あり
  • [雑誌論文] Top-rank convolutional neural network and its application to medical image-based diagnosis2021

    • 著者名/発表者名
      Zheng Yan、Zheng Yuchen、Suehiro Daiki、Uchida Seiichi
    • 雑誌名

      Pattern Recognition

      巻: 120 ページ: -

    • DOI

      10.1016/j.patcog.2021.108138

    • 査読あり
  • [雑誌論文] Learning the micro deformations by max-pooling for offline signature verification2021

    • 著者名/発表者名
      Zheng Yuchen、Iwana Brian Kenji、Malik Muhammad Imran、Ahmed Sheraz、Ohyama Wataru、Uchida Seiichi
    • 雑誌名

      Pattern Recognition

      巻: 118 ページ: -

    • DOI

      10.1016/j.patcog.2021.108008

    • 査読あり
  • [雑誌論文] Tunable U-Net: Controlling Image-to-Image Outputs Using a Tunable Scalar Value2021

    • 著者名/発表者名
      Kang Seokjun、Uchida Seiichi、Iwana Brian Kenji
    • 雑誌名

      IEEE Access

      巻: 9 ページ: -

    • DOI

      10.1109/ACCESS.2021.3096530

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] An empirical survey of data augmentation for time series classification with neural networks2021

    • 著者名/発表者名
      Iwana Brian Kenji、Uchida Seiichi
    • 雑誌名

      PLOS ONE

      巻: 16 ページ: e0254841

    • DOI

      10.1371/journal.pone.0254841

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Top-Rank Learning Robust to Outliers2021

    • 著者名/発表者名
      Zheng Yan、Suehiro Daiki、Uchida Seiichi
    • 雑誌名

      Proceedings of the 28th International Conference on Neural Information Processing

      巻: - ページ: 608~619

    • DOI

      10.1007/978-3-030-92238-2_50

    • 査読あり
  • [雑誌論文] De-rendering Stylized Texts2021

    • 著者名/発表者名
      Shimoda Wataru、Haraguchi Daichi、Uchida Seiichi、Yamaguchi Kota
    • 雑誌名

      Proceedings of the IEEE/CVF International Conference on Computer Vision

      巻: - ページ: -

    • DOI

      10.1109/ICCV48922.2021.00111

    • 査読あり / オープンアクセス
  • [雑誌論文] Font Style that Fits an Image: Font Generation Based on Image Context2021

    • 著者名/発表者名
      Miyazono Taiga、Iwana Brian Kenji、Haraguchi Daichi、Uchida Seiichi
    • 雑誌名

      Proceedings of the 16th International Conference on Document Analysis and Recognition

      巻: - ページ: 569~584

    • DOI

      10.1007/978-3-030-86334-0_37

    • 査読あり / 国際共著
  • [雑誌論文] Impressions2Font: Generating Fonts by Specifying Impressions2021

    • 著者名/発表者名
      Matsuda Seiya、Kimura Akisato、Uchida Seiichi
    • 雑誌名

      Proceedings of the 16th International Conference on Document Analysis and Recognition

      巻: - ページ: 739~754

    • DOI

      10.1007/978-3-030-86334-0_48

    • 査読あり
  • [雑誌論文] Which Parts Determine the Impression of the Font?2021

    • 著者名/発表者名
      Ueda Masaya、Kimura Akisato、Uchida Seiichi
    • 雑誌名

      Proceedings of the 16th International Conference on Document Analysis and Recognition

      巻: - ページ: 723~738

    • DOI

      10.1007/978-3-030-86334-0_47

    • 査読あり
  • [雑誌論文] Towards Book Cover Design via Layout Graphs2021

    • 著者名/発表者名
      Zhang Wensheng、Zheng Yan、Miyazono Taiga、Uchida Seiichi、Iwana Brian Kenji
    • 雑誌名

      Proceedings of the 16th International Conference on Document Analysis and Recognition

      巻: - ページ: 642~657

    • DOI

      10.1007/978-3-030-86334-0_42

    • 査読あり / 国際共著
  • [雑誌論文] Attention to Warp: Deep Metric Learning for Multivariate Time Series2021

    • 著者名/発表者名
      Matsuo Shinnosuke、Wu Xiaomeng、Atarsaikhan Gantugs、Kimura Akisato、Kashino Kunio、Iwana Brian Kenji、Uchida Seiichi
    • 雑誌名

      Proceedings of the 16th International Conference on Document Analysis and Recognition

      巻: - ページ: 350~365

    • DOI

      10.1007/978-3-030-86334-0_23

    • 査読あり / 国際共著
  • [雑誌論文] Meta-learning of Pooling Layers for Character Recognition2021

    • 著者名/発表者名
      Otsuzuki Takato、Song Heon、Uchida Seiichi、Hayashi Hideaki
    • 雑誌名

      Proceedings of the 16th International Conference on Document Analysis and Recognition

      巻: - ページ: 188~203

    • DOI

      10.1007/978-3-030-86334-0_13

    • 査読あり
  • [雑誌論文] Using Robust Regression to Find Font Usage Trends2021

    • 著者名/発表者名
      Tsuji Kaigen、Uchida Seiichi、Iwana Brian Kenji
    • 雑誌名

      Proceedings of the ICDAR 2021 Workshop on Machine Learning

      巻: - ページ: 126~141

    • DOI

      10.1007/978-3-030-86159-9_9

    • 査読あり / 国際共著
  • [雑誌論文] Famous Companies Use More Letters in Logo: A Large-Scale Analysis of Text Area in Logo2021

    • 著者名/発表者名
      Nishi Shintaro、Kadota Takeaki、Uchida Seiichi
    • 雑誌名

      Proceedings of the 14th IAPR International Workshop on Graphics Recognition

      巻: - ページ: 97~111

    • DOI

      10.1007/978-3-030-86198-8_8

    • 査読あり
  • [雑誌論文] Layer-Wise Interpretation of Deep Neural Networks using Identity Initialization2021

    • 著者名/発表者名
      Kubota Shohei、Hayashi Hideaki、Hayase Tomohiro、Uchida Seiichi
    • 雑誌名

      Proceedings of the 45th International Conference on Acoustics, Speech, and Signal Processing

      巻: - ページ: -

    • DOI

      10.1109/ICASSP39728.2021.9414873

    • 査読あり
  • [雑誌論文] Self-Augmented Multi-Modal Feature Embedding2021

    • 著者名/発表者名
      Matsuo Shinnosuke、Uchida Seiichi、Iwana Brian Kenji
    • 雑誌名

      Proceedings of the 45th International Conference on Acoustics, Speech, and Signal Processing

      巻: - ページ: -

    • DOI

      10.1109/ICASSP39728.2021.9413974

    • 査読あり / 国際共著
  • [雑誌論文] A Discriminative Gaussian Mixture Model with Sparsity2021

    • 著者名/発表者名
      Hideaki Hayashi, Seiichi Uchida
    • 雑誌名

      Proceedings of the Ninth International Conference on Learning Representations

      巻: - ページ: -

    • 査読あり / オープンアクセス
  • [雑誌論文] FASSD-Net: Fast and Accurate Real-Time Semantic Segmentation for Embedded Systems2021

    • 著者名/発表者名
      Rosas-Arias Leonel、Benitez-Garcia Gibran、Portillo-Portillo Jose、Olivares-Mercado Jesus、Sanchez-Perez Gabriel、Yanai Keiji
    • 雑誌名

      IEEE Transactions on Intelligent Transportation Systems

      巻: - ページ: 1~12

    • DOI

      10.1109/TITS.2021.3127553

    • 査読あり
  • [雑誌論文] Ketchup As You Like: Drawing Editor for Foods2021

    • 著者名/発表者名
      Naritomi Shu、Benitez-Garcia Gibran、Yanai Keiji
    • 雑誌名

      Proc. of IEEE Airtificial Intelligence and Virtual Realty

      巻: - ページ: -

    • DOI

      10.1109/AIVR52153.2021.00047

    • 査読あり / 国際共著
  • [雑誌論文] Cross-Modal Recipe Embeddings by Disentangling Recipe Contents and Dish Styles2021

    • 著者名/発表者名
      Sugiyama Yu、Yanai Keiji
    • 雑誌名

      Proc. of ACM Multimedia

      巻: - ページ: -

    • DOI

      10.1145/3474085.3475422

    • 査読あり
  • [雑誌論文] Multi-Style Transfer Generative Adversarial Network for Text Images2021

    • 著者名/発表者名
      Yuan Honghui、Yanai Keiji
    • 雑誌名

      Proc. of IEEE International Conference on Multimedia Information Processing and Retrieval

      巻: - ページ: -

    • DOI

      10.1109/MIPR51284.2021.00017

    • 査読あり / 国際共著
  • [雑誌論文] Ketchup GAN: A New Dataset for Realistic Synthesis of Letters on Food2021

    • 著者名/発表者名
      Benitez-Garcia Gibran、Yanai Keiji
    • 雑誌名

      Proc. of ICMR WS on Multimedia Artworks Analysis and Attractiveness Computing

      巻: - ページ: -

    • DOI

      10.1145/3463946.3469241

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] State-aware Video Procedural Captioning2021

    • 著者名/発表者名
      Nishimura Taichi、Hashimoto Atsushi、Ushiku Yoshitaka、Kameko Hirotaka、Mori Shinsuke
    • 雑誌名

      Proc. of ACM Multimedia

      巻: - ページ: -

    • DOI

      10.1145/3474085.3475322

    • 査読あり
  • [雑誌論文] Divergence Optimization for Noisy Universal Domain Adaptation2021

    • 著者名/発表者名
      Qing Yu, Atsushi Hashimoto, and Yoshitaka Ushiku
    • 雑誌名

      The IEEE Conference on Computer Vision and Pattern Recognition

      巻: - ページ: -

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Removing Word-Level Spurious Alignment between Images and Pseudo-Captions in Unsupervised Image Captioning2021

    • 著者名/発表者名
      Honda Ukyo、Ushiku Yoshitaka、Hashimoto Atsushi、Watanabe Taro、Matsumoto Yuji
    • 雑誌名

      The Conference of the European Chapter of the Association for Computational Linguistics

      巻: - ページ: -

    • DOI

      10.18653/v1/2021.eacl-main.323

    • 査読あり / オープンアクセス
  • [学会発表] クラス情報を考慮したEnergy-based Modelによる時系列予測手法の提案2022

    • 著者名/発表者名
      山縣将貴, 内田誠一, 早志英朗
    • 学会等名
      情報処理学会コンピュータビジョンとイメージメディア研究会
  • [学会発表] Vision TransformerにおけるContinual Learning2022

    • 著者名/発表者名
      武田麻奈, 柳井啓司
    • 学会等名
      電子情報通信学会パターン認識・メディア理解研究会
  • [学会発表] StyleGANによるCLIP-Guidedな画像形状特徴編集2022

    • 著者名/発表者名
      銭 雨晨, 柳井啓司
    • 学会等名
      電子情報通信学会パターン認識・メディア理解研究会
  • [学会発表] クロスモーダルレシピエンベッティングによるマスクに基づく食事画像生成2022

    • 著者名/発表者名
      陳 仲涛, 本部勇真, 柳井啓司
    • 学会等名
      電子情報通信学会パターン認識・メディア理解研究会
  • [学会発表] Transformerを用いたクロスモーダルレシピ検索・画像生成2022

    • 著者名/発表者名
      楊 景, 柳井啓司
    • 学会等名
      電子情報通信学会パターン認識・メディア理解研究会
  • [学会発表] Self-Attentionによる非局所構造の利用状況解析2022

    • 著者名/発表者名
      大峠仁輝, 内田誠一
    • 学会等名
      電子情報通信学会2022年総合大会
  • [学会発表] Analysis of Historical Changes in the Fonts on Movie Posters2021

    • 著者名/発表者名
      Kaigen Tsuji, Seiichi Uchida, Brian Kenji Iwana
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2021)
  • [学会発表] Towards Book Cover Design via Layout Graphs2021

    • 著者名/発表者名
      Wensheng Zhang, Seiichi Uchida, Brian Kenji Iwana
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2021)
  • [学会発表] フォントスタイル情報が単語分散表現に与える影響の調査2021

    • 著者名/発表者名
      原口大地, 内田誠一
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2021)
  • [学会発表] Part-based Analysis to Understand Font Impression2021

    • 著者名/発表者名
      Masaya Ueda, Akisato Kimura, Seiichi Uchida
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2021)
  • [学会発表] テキストをエディット可能に2021

    • 著者名/発表者名
      Wataru Shimoda, Daichi Haraguchi, Seiidhi Uchida, Kota Yamaguchi
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2021)
  • [学会発表] Deep Metric Learning Based on Attention Model for Multivariate Time Series2021

    • 著者名/発表者名
      Shinnosuke Matsuo, Xiaomeng Wu, Gantugs Atarsaikhan, Akisato Kimura, Kunio Kashino, Brian Kenji Iwana, Seiichi Uchida
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2021)
  • [学会発表] Meta-learning of Pooling Layers for Few-shot Recognition2021

    • 著者名/発表者名
      Takato Otsuzuki, Heon Song, Seiichi Uchida, Hideaki Hayashi
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2021)
  • [学会発表] Generating Font Images with Specific Impressions2021

    • 著者名/発表者名
      Seiya Matsuda, Akisato Kimura, Seiichi Uchida
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2021)
  • [学会発表] Relationship Analysis between Logos and Their Followers2021

    • 著者名/発表者名
      Takeaki Kadota, Shintaro Nishi, Seiichi Uchida
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2021)
  • [学会発表] GANによる多層画像生成2021

    • 著者名/発表者名
      Shee Chean Fei, Seiichi Uchida
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2021)
  • [学会発表] グラフィックデザインにおけるテキストに適したフォント推定2021

    • 著者名/発表者名
      下田和, 原口大地, 内田誠一, 山口光太
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2021)
  • [学会発表] 識別・生成のハイブリッドモデルと弱教師あり学習への応用2021

    • 著者名/発表者名
      早志英朗, 内田誠一
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2021)
  • [学会発表] 識別器の斟酌学習2021

    • 著者名/発表者名
      本田康祐, 内田誠一,末廣大貴
    • 学会等名
      電子情報通信学会パターン認識・メディア理解研究会
  • [学会発表] Clustering Analysis of Images, Object Labels, and Scene Texts2021

    • 著者名/発表者名
      Yunjie Sheng, 内田誠一
    • 学会等名
      電気・情報関係学会九州支部連合大会
  • [学会発表] Logo Images Classification2021

    • 著者名/発表者名
      石 為之, 内田誠一
    • 学会等名
      電気・情報関係学会九州支部連合大会
  • [学会発表] 単語の意味と画像の共潜在空間埋め込み2021

    • 著者名/発表者名
      安河内直哉, 松尾信之介, 内田誠一
    • 学会等名
      電気・情報関係学会九州支部連合大会
  • [学会発表] 情景内文字とキャプションの相関解析2021

    • 著者名/発表者名
      中村亘岐, 内田誠一
    • 学会等名
      電気・情報関係学会九州支部連合大会
  • [学会発表] 異なるトレーニング順序でのモデル圧縮2021

    • 著者名/発表者名
      沈 毅誠, Brian Iwana, Seiichi Uchida
    • 学会等名
      電気・情報関係学会九州支部連合大会
  • [学会発表] Invariant Information Clusteringの挙動解析2021

    • 著者名/発表者名
      北島和樹, 内田誠一
    • 学会等名
      電気・情報関係学会九州支部連合大会
  • [学会発表] 画像照合を用いた手書き数式認識結果の検証2021

    • 著者名/発表者名
      KhayTze Peong, 内田誠一
    • 学会等名
      電気・情報関係学会九州支部連合大会
  • [学会発表] Transformerを用いたアウトライン文字認識2021

    • 著者名/発表者名
      永田悠祐, 内田誠一
    • 学会等名
      電気・情報関係学会九州支部連合大会
  • [学会発表] Vision Transformerを用いた多フォント文字認識2021

    • 著者名/発表者名
      大峠仁輝, 内田誠一
    • 学会等名
      電気・情報関係学会九州支部連合大会
  • [学会発表] Vision Transformerを用いた数字画像の欠損補間2021

    • 著者名/発表者名
      中鶴 慧, 内田誠一
    • 学会等名
      電気・情報関係学会九州支部連合大会
  • [学会発表] I Have Two Dreams2021

    • 著者名/発表者名
      Seiichi Uchida
    • 学会等名
      The Third Future of Document Image Analysis Workshop (FDAR2021)
    • 国際学会 / 招待講演
  • [学会発表] Beyond 100% - Open research in Document Analysis2021

    • 著者名/発表者名
      Seiichi Uchida
    • 学会等名
      The Annual Workshop of the Swedish Artificial Intelligence Society(SAIS2021)
    • 国際学会 / 招待講演
  • [学会発表] Challenges of Integrating Vision and Language.2021

    • 著者名/発表者名
      Yoshitaka Ushiku
    • 学会等名
      International Display Workshops
    • 国際学会 / 招待講演
  • [備考] ヒューマンインターフェース研究室

    • URL

      http://human.ait.kyushu-u.ac.jp

URL: 

公開日: 2022-12-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi