• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2020 年度 実績報告書

機械可読時代における文字科学の創成と応用展開

研究課題

研究課題/領域番号 17H06100
研究機関九州大学

研究代表者

内田 誠一  九州大学, システム情報科学研究院, 教授 (70315125)

研究分担者 牛久 祥孝  オムロンサイニックエックス株式会社, リサーチアドミニストレイティブディビジョン, プリンシパルインベスティゲーター (10784142)
研究期間 (年度) 2017-05-31 – 2022-03-31
キーワード文字科学 / 文字工学 / 文字認識 / 機械学習 / フォント
研究実績の概要

R2年度についても、H29-R1年度と同様、文字機能の原理解明のための基礎研究を4 機能全てについて並行して実施した。
周囲の明確化機能:①物体とその表面に印字された単語の共起関係を膨大なデータを用いて定量化し、ある物体の上に特異的に存在する単語(物体の詳細を表すラベルとして機能)や様々な単語が表示される物体(本や看板などのメッセージキャリア)の特定に成功した(ICPR2020にオーラル採択)。また深層学習のアテンション機能を利用することで、情景内単語が指示する物体領域を推定する試みにも着手した。
知識・意味伝達機能:②書体(フォント)が単語の意味をより強化している可能性を検証すべく、書籍画像20万冊分を用いて、各書籍のタイトルを構成する文字列の書体と単語の意味の相関関係を調べた(論文準備中)。
雰囲気伝達機能:R2年度からの新規課題として、③GANによる特定印象を持ったフォントの自動生成、④フォントスタイルとその印象語を同時表現する共潜在変数空間の学習、⑤特定画像の雰囲気にマッチしたフォントスタイルの自動生成、⑥書籍表紙の構成部品のレイアウトから表紙全体の画像を自動生成するシステム、⑦ロゴ画像とそこに含まれるテキスト情報の関係解析、⑧Lyric Videoにおけるフォントと音楽印象の関係解析、⑨フォントのスタイルからの利用年代推定を実施し、すべて国際会議論文として投稿済した。さらに、⑩フォントのどの部分がどのような印象を生んでいるかといった「形状と印象」の相関に関する根源的な研究も実施し、論文の投稿に至っている。なお、文字デザインについ
ては関連して企業との共同研究も継続している。
可読性維持機能:新規課題として、⑪文字に適したプーリングのメタ学習(投稿済)、⑫認識に必要な局所構造の学習(国内発表済)、⑬手書きの変形吸収のための機械学習(投稿済)を実施した。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

2020年度も、文字の機能解明のために、満遍なくかつ大量の研究を同時並列して実施した。昨年度同様、昨今の技術的進展ならびにオープンソース・オープンデータにより、これらの中には、本研究課題開始時には着想できてなかったものが多く存在し、予想を超える進展を遂げている状況である。
さらに我々は、世界的なスピード感と歩調を合わせるべく,躊躇することなく成果のすべてを国際論文(ジャーナル・国際会議論文)として投稿しており,その多くが採択されるに至っている。特に2021年度に予定されている本課題に関する最重要会議であるICDAR (International Conference on Document Analysis and Recognition, CORE ranking A会議)に対しては、我々のグループから10編ものフルペーパーを投稿している。なお、研究代表者は同会議のプログラム委員長も務めており、本課題の遂行により得られた研究成果が高く評価されていることの一つの証左であると考える.

今後の研究の推進方策

最終年度である2021年度についても,2020年度までに行ってきた検討をさらに進め,文字機能の原理解明のための基礎研究を,下記の通り,4 機能全てについて並行して実施する.なお,これまで4年間の実績において,すでに当初計画の内容を超えており,さらにその成果により,より広くの文字関連分野(認知心理学や自然言語処理,プロフェッショナルな書体デザイナや環境サインデザイナ)との連携の必要性も見えてきた状況である.今後はこうした連携を広げる動きについても加速する予定であり,すでにそれら分野の第一人者との交流も進めている.
周囲の明確化機能:①物体と文字の間のインタラクション関係について,これまでに解明してきた共起性等の関係を踏まえ,さらに進めた解析を行う.
知識・意味伝達機能:②自然言語処理の分野で劇的に進歩している文や単語の意味定量化や,画像を対象としたキャプション生成や質問応答の技術を利活用し,我々の身の回りの文字情報がどのような知識や意味を伝達しているのかについて,その傾向を定量的解析する.
雰囲気伝達機能:③フォントデザインと印象の関係を局所形状に注目して検証を行う.さらに特定印象を持ったフォントの合成についても引き続き検討する.それら課題においては,印象の多様性や不安定性を考慮した手法の改善を図る.またこうした試みを介して,フォントデザインと印象の結びつきの強さを定量化するような手法を開発する.また文字と関連するロゴ等のビジュアルデザインについて対象を拡大し,同様の手法の開発を試みる.
可読性維持機能:④文字が通信記号として持つ様々な特性を解明するため,どのような局所的形状集合が文字クラスを決定しているのかを,集合を対象とした深層学習や強化学習を利用することで,客観的に解明する.これと並行して,文字の耐ノイズ性についても,様々なノイズを対象として定量解析を行う.

  • 研究成果

    (57件)

すべて 2021 2020 その他

すべて 国際共同研究 (2件) 雑誌論文 (23件) (うち国際共著 15件、 査読あり 23件、 オープンアクセス 5件) 学会発表 (31件) (うち国際学会 4件、 招待講演 5件) 備考 (1件)

  • [国際共同研究] ドイツ人工知能研究所(ドイツ)

    • 国名
      ドイツ
    • 外国機関名
      ドイツ人工知能研究所
  • [国際共同研究] Wuhan University of Technology(中国)

    • 国名
      中国
    • 外国機関名
      Wuhan University of Technology
  • [雑誌論文] A Discriminative Gaussian Mixture Model with Sparsity2021

    • 著者名/発表者名
      Hideaki Hayashi, Seiichi Uchida
    • 雑誌名

      Proceedings of the Ninth International Conference on Learning Representations

      巻: - ページ: -

    • 査読あり / オープンアクセス
  • [雑誌論文] Complex image processing with less data?Document image binarization by integrating multiple pre-trained U-Net modules2021

    • 著者名/発表者名
      Kang Seokjun、Iwana Brian Kenji、Uchida Seiichi
    • 雑誌名

      Pattern Recognition

      巻: 109 ページ: 107577~107577

    • DOI

      10.1016/j.patcog.2020.107577

    • 査読あり / 国際共著
  • [雑誌論文] Layer-Wise Interpretation of Deep Neural Networks Using Identity Initialization2021

    • 著者名/発表者名
      Shohei Kubota, Hideaki Hayashi, Tomohiro Hayase, Seiichi Uchida
    • 雑誌名

      Proceedings of the 45th International Conference on Acoustics, Speech, and Signal Processing

      巻: - ページ: -

    • 査読あり / 国際共著
  • [雑誌論文] Self-Augmented Multi-Modal Feature Embedding2021

    • 著者名/発表者名
      Shinnosuke Matsuo, Seiichi Uchida, Brian Kenji Iwana
    • 雑誌名

      Proceedings of the 45th International Conference on Acoustics, Speech, and Signal Processing

      巻: - ページ: -

    • 査読あり / 国際共著
  • [雑誌論文] Label or Message: A Large-Scale Experimental Survey of Texts and Objects Co-Occurrence2021

    • 著者名/発表者名
      Koki Takeshita, Juntaro Shioyama, Seiichi Uchida
    • 雑誌名

      Proceedings of the 25th The International Conference on Pattern Recognition

      巻: - ページ: 6228-6234

    • 査読あり
  • [雑誌論文] Time Series Data Augmentation for Neural Networks by Time Warping with a Discriminative Teacher2021

    • 著者名/発表者名
      Brian Kenji Iwana, Seiichi Uchida
    • 雑誌名

      Proceedings of the 25th The International Conference on Pattern Recognition

      巻: - ページ: 3558-3565

    • 査読あり / 国際共著
  • [雑誌論文] Total Whitening for Online Signature Verification Based on Deep Representation2021

    • 著者名/発表者名
      Xiaomeng Wu, Akisato Kimura, Kunio Kashino, Seiichi Uchida
    • 雑誌名

      Proceedings of the 25th The International Conference on Pattern Recognition

      巻: - ページ: 655-661

    • 査読あり / 国際共著
  • [雑誌論文] Divergence Optimization for Noisy Universal Domain Adaptation2021

    • 著者名/発表者名
      Qing Yu, Atsushi Hashimoto, Yoshitaka Ushiku
    • 雑誌名

      IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR2021)

      巻: - ページ: -

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Denoising Pseudo-Captions in Unsupervised Image Captioning2021

    • 著者名/発表者名
      Ukyo Honda, Yoshitaka, Ushiku, Atsushi Hashimoto, Taro Watanabe, Yuji Matsumoto
    • 雑誌名

      The 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL2021)

      巻: - ページ: -

    • 査読あり
  • [雑誌論文] Structure-Aware Procedural Text Generation From an Image Sequence2021

    • 著者名/発表者名
      T. Nishimura, A. Hashimoto, Y. Ushiku, H. Kameko, Y. Yamakata and S. Mori
    • 雑誌名

      IEEE Access

      巻: 9 ページ: 2125-2141

    • DOI

      10.1109/ACCESS.2020.3043452

    • 査読あり / オープンアクセス
  • [雑誌論文] Benchmarking Deep Learning Models for Classification of Book Covers2020

    • 著者名/発表者名
      Lucieri Adriano、Sabir Huzaifa、Siddiqui Shoaib Ahmed、Rizvi Syed Tahseen Raza、Iwana Brian Kenji、Uchida Seiichi、Dengel Andreas、Ahmed Sheraz
    • 雑誌名

      SN Computer Science

      巻: 1 ページ: -

    • DOI

      10.1007/s42979-020-00132-z

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Few-Shot Text Style Transfer via Deep Feature Similarity2020

    • 著者名/発表者名
      Zhu Anna、Lu Xiongbo、Bai Xiang、Uchida Seiichi、Iwana Brian Kenji、Xiong Shengwu
    • 雑誌名

      IEEE Transactions on Image Processing

      巻: 29 ページ: 6932~6946

    • DOI

      10.1109/TIP.2020.2995062

    • 査読あり / 国際共著
  • [雑誌論文] Guided neural style transfer for shape stylization2020

    • 著者名/発表者名
      Atarsaikhan Gantugs、Iwana Brian Kenji、Uchida Seiichi
    • 雑誌名

      PLOS ONE

      巻: 15 ページ: e0233489

    • DOI

      10.1371/journal.pone.0233489

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Iconify: Converting Photographs into Icons2020

    • 著者名/発表者名
      Karamatsu Takuro、Benitez-Garcia Gibran、Yanai Keiji、Uchida Seiichi
    • 雑誌名

      Proceedings of 2020 Joint Workshop on Multimedia Artworks Analysis and Attractiveness Computing in Multimedia

      巻: - ページ: -

    • DOI

      10.1145/3379173.3393708

    • 査読あり
  • [雑誌論文] Regularized Pooling2020

    • 著者名/発表者名
      Otsuzuki Takato、Hayashi Hideaki、Zheng Yuchen、Uchida Seiichi
    • 雑誌名

      Proceedings of the 29th International Conference on Artificial Neural Networks

      巻: - ページ: 241~254

    • DOI

      10.1007/978-3-030-61616-8_20

    • 査読あり / 国際共著
  • [雑誌論文] What is the Reward for Handwriting? ? A Handwriting Generation Model Based on Imitation Learning2020

    • 著者名/発表者名
      Kanda Keisuke、Iwana Brian Kenji、Uchida Seiichi
    • 雑誌名

      Proceedings of the 17th The International Conference on Frontiers of Handwriting Recognition

      巻: - ページ: -

    • DOI

      10.1109/ICFHR2020.2020.00030

    • 査読あり / 国際共著
  • [雑誌論文] Handwriting Prediction Considering Inter-Class Bifurcation Structures2020

    • 著者名/発表者名
      Yamagata Masaki、Hayashi Hideaki、Uchida Seiichi
    • 雑誌名

      Proceedings of the 17th The International Conference on Frontiers of Handwriting Recognition

      巻: - ページ: -

    • DOI

      10.1109/ICFHR2020.2020.00029

    • 査読あり
  • [雑誌論文] Neural Style Difference Transfer and Its Application to Font Generation2020

    • 著者名/発表者名
      Atarsaikhan Gantugs、Iwana Brian Kenji、Uchida Seiichi
    • 雑誌名

      Proceedings of the 14th IAPR International Workshop on Document Analysis Systems

      巻: - ページ: 544~558

    • DOI

      10.1007/978-3-030-57058-3_38

    • 査読あり / 国際共著
  • [雑誌論文] Character-Independent Font Identification2020

    • 著者名/発表者名
      Haraguchi Daichi、Harada Shota、Iwana Brian Kenji、Shinahara Yuto、Uchida Seiichi
    • 雑誌名

      Proceedings of the 14th IAPR International Workshop on Document Analysis Systems

      巻: - ページ: 497~511

    • DOI

      10.1007/978-3-030-57058-3_35

    • 査読あり / 国際共著
  • [雑誌論文] Lyric Video Analysis Using Text Detection and Tracking2020

    • 著者名/発表者名
      Sakaguchi Shota、Kato Jun、Goto Masataka、Uchida Seiichi
    • 雑誌名

      Proceedings of the 14th IAPR International Workshop on Document Analysis Systems

      巻: - ページ: 426~440

    • DOI

      10.1007/978-3-030-57058-3_30

    • 査読あり
  • [雑誌論文] Effect of Text Color on Word Embeddings2020

    • 著者名/発表者名
      Ikoma Masaya、Iwana Brian Kenji、Uchida Seiichi
    • 雑誌名

      Proceedings of the 14th IAPR International Workshop on Document Analysis Systems

      巻: - ページ: 341~355

    • DOI

      10.1007/978-3-030-57058-3_24

    • 査読あり / 国際共著
  • [雑誌論文] ACMU-Nets: Attention Cascading Modular U-Nets Incorporating Squeeze and Excitation Blocks2020

    • 著者名/発表者名
      Kang Seokjun、Iwana Brian Kenji、Uchida Seiichi
    • 雑誌名

      Proceedings of the 14th IAPR International Workshop on Document Analysis Systems

      巻: - ページ: 118~130

    • DOI

      10.1007/978-3-030-57058-3_9

    • 査読あり / 国際共著
  • [雑誌論文] Generating Easy-to-understand Referring Expressions for Target Identifications2020

    • 著者名/発表者名
      Mikihiro TANAKA, Takayuki ITAMOCHI, Kenichi NARIOKA, Ikuro SATO, Yoshitaka USHIKU, Tatsuya HARADA
    • 雑誌名

      Journal of the Imaging Society of Japan

      巻: 59 ページ: 591-600

    • DOI

      10.11370/isj.59.591

    • 査読あり
  • [学会発表] 単語分散表現におけるフォントスタイル情報の利用2021

    • 著者名/発表者名
      原口大地,下田和,内田誠一
    • 学会等名
      情報処理学会コンピュータビジョンとイメージメディア研究会
  • [学会発表] Playing with Visible Texts around Us2021

    • 著者名/発表者名
      Seiichi Uchida
    • 学会等名
      RIEC International Symposium: Symposium of Yotta Informatics Research Platform for Yotta-Scale Data Science 2021
    • 国際学会 / 招待講演
  • [学会発表] Visual Design Analysis with Machine Learning2021

    • 著者名/発表者名
      Seiichi Uchida
    • 学会等名
      Kyushu-Illinois Strategic Partnership Colloquia Series - #2 Mathematics Without Borders?Applied and Applicable
    • 国際学会 / 招待講演
  • [学会発表] Multimodal Understanding: Vision and Language, and its Beyond2021

    • 著者名/発表者名
      Yoshitaka Ushiku
    • 学会等名
      International Workshop on Frontiers of Computer Vision
    • 国際学会 / 招待講演
  • [学会発表] マルチモーダル理解~Vision and Languageとその先へ2021

    • 著者名/発表者名
      牛久祥孝
    • 学会等名
      京都大学学術情報メディアセンターセミナー
    • 招待講演
  • [学会発表] 識別・生成のハイブリッドモデルと弱教師あり学習への応用2020

    • 著者名/発表者名
      早志英朗, 内田誠一
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2020)
  • [学会発表] 単位初期化による深層パーセプトロン学習:ヤコビ行列を用いた誤差逆伝播に関する考察2020

    • 著者名/発表者名
      久保田祥平, 早志英朗, 早瀬友裕, 内田誠一
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2021)
  • [学会発表] 日本語テキストの属性認識に向けて2020

    • 著者名/発表者名
      下田和, 原口大地, 山口光太, 内田誠一
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2022)
  • [学会発表] 模倣学習による手書き生成2020

    • 著者名/発表者名
      Keisuke Kanda, Brian Kenji Iwana, Seiichi Uchida
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2023)
  • [学会発表] 任意のオンライントラッカの統合法2020

    • 著者名/発表者名
      Heon Song, Daiki Suehiro, Seiichi Uchida
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2024)
  • [学会発表] 異種文字間のフォント同一性判定2020

    • 著者名/発表者名
      原口大地, 原田翔太, Brian Kenji Iwana, 内田誠一
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2025)
  • [学会発表] GANを用いた局所パターン生成2020

    • 著者名/発表者名
      Shee Chean Fei, Daiki Suehiro, Seiichi Uchida
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2026)
  • [学会発表] 深層特徴を用いたリジェクション学習2020

    • 著者名/発表者名
      Xiaotong Ji, Daiki Suehiro, Seiichi Uchida
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2027)
  • [学会発表] Class-Guided Handwriting Prediction with Uncertainty2020

    • 著者名/発表者名
      Masaki Yamagata, Hideaki Hayashi, Seiichi Uchida
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2027)
  • [学会発表] 深層パーセプトロンの単位初期化に基づく中間層の貢献度と尤度の解析2020

    • 著者名/発表者名
      久保田祥平, 早志英朗, 早瀬友裕, 内田誠一
    • 学会等名
      電子情報通信学会パターン認識・メディア理解研究会
  • [学会発表] リリックビデオにおける歌詞内単語の動きの抽出と分類2020

    • 著者名/発表者名
      坂口翔太, 加藤 淳, 後藤真孝, 内田誠一
    • 学会等名
      電子情報通信学会パターン認識・メディア理解研究会
  • [学会発表] 正則化プーリング2020

    • 著者名/発表者名
      緒續隆人, 早志英朗, Zheng Yuchen, 内田誠一
    • 学会等名
      電子情報通信学会パターン認識・メディア理解研究会
  • [学会発表] Deep Setsの挙動解析 ~ 文字画像を対象とした可視化 ~2020

    • 著者名/発表者名
      神田敬佑, 内田誠一
    • 学会等名
      電子情報通信学会パターン認識・メディア理解研究会
  • [学会発表] 情景内単語と物体の共起に関する大規模解析 ~ ラベルとメッセージの識別を目指して ~2020

    • 著者名/発表者名
      竹下孔喜, 塩山惇太郎, 内田誠一
    • 学会等名
      電子情報通信学会パターン認識・メディア理解研究会
  • [学会発表] クラスの存在を利用した時系列予測とその手書きパターンへの応用2020

    • 著者名/発表者名
      山縣将貴,早志英朗,内田誠一
    • 学会等名
      電子情報通信学会パターン認識・メディア理解研究会
  • [学会発表] フォントの印象分析2020

    • 著者名/発表者名
      上田将矢, 原口大地, 内田誠一
    • 学会等名
      電気・情報関係学会九州支部連合大会
  • [学会発表] 書籍表紙画像のタイトル部自動生成の試み2020

    • 著者名/発表者名
      宮薗大雅, 内田誠一
    • 学会等名
      電気・情報関係学会九州支部連合大会
  • [学会発表] 特定印象を考慮した文字フォントの生成に向けた試み2020

    • 著者名/発表者名
      松田征也, 早志英朗, 内田誠一
    • 学会等名
      電気・情報関係学会九州支部連合大会
  • [学会発表] フォントのクオリティに関する評価関数の提案2020

    • 著者名/発表者名
      姜 志勲, 原口大地, 内田誠一
    • 学会等名
      電気・情報関係学会九州支部連合大会
  • [学会発表] 映画ポスターにおけるタイトル画像解析2020

    • 著者名/発表者名
      辻 海元, 原口大地, 内田誠一, Brian Kenji Iwana
    • 学会等名
      電気・情報関係学会九州支部連合大会
  • [学会発表] 表紙画像生成2020

    • 著者名/発表者名
      張 文升, 内田誠一
    • 学会等名
      電気・情報関係学会九州支部連合大会
  • [学会発表] 複数モダリティを対象とした表現学習2020

    • 著者名/発表者名
      松尾信之介, Brian Kenji Iwana, 内田誠一
    • 学会等名
      電気・情報関係学会九州支部連合大会
  • [学会発表] オンライン予測による画像分類器の識別率の制御2020

    • 著者名/発表者名
      本田康祐, 内田誠一, 末廣大貴
    • 学会等名
      電気・情報関係学会九州支部連合大会
  • [学会発表] ロゴ画像の特徴解析2020

    • 著者名/発表者名
      西 進太朗, 内田誠一
    • 学会等名
      電気・情報関係学会九州支部連合大会
  • [学会発表] 深層ニューラルネットワーク内部でのデータ改ざん検出の試み2020

    • 著者名/発表者名
      亀澤祥平, 内田誠一
    • 学会等名
      電気・情報関係学会九州支部連合大会
  • [学会発表] Future Challenges in Handwriting Recognition (Panel discussion)2020

    • 著者名/発表者名
      Seiichi Uchida
    • 学会等名
      The 17th International Conference on Frontiers of Handwriting Recognition (ICFHR2020)
    • 国際学会 / 招待講演
  • [備考] 九州大学ヒューマンインターフェス研究室

    • URL

      http://human.ait.kyushu-u.ac.jp

URL: 

公開日: 2021-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi