• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2013 Fiscal Year Research-status Report

サンプリング定理を越える映像超解像度化技術の研究

Research Project

Project/Area Number 24560476
Research InstitutionKogakuin University

Principal Investigator

合志 清一  工学院大学, 情報工学部, 教授 (40500335)

Keywords4Kテレビ / 8K / 超解像 / 高精細化 / 非線形信号処理 / 映像 / リアルタイム処理 / ナイキスト周波数
Research Abstract

平成25年度の目標に設定した2項目を達成し、平成26年度の目標であった4Kテレビ画面を用いた実証実験に着手している。
平成25年度の目標は2点であった。1項目目はハードウエア実装のための処理の効率化である。4Kテレビでリアルタイム処理を実現するためには、1フレームの信号処理を16.7ms以下で完了する必要がある。並列処理を導入することで処理速度を向上し、4Kテレビに必要な1フレーム16.7ms以内の処理を実現した。2点目は複数のハイビジョン映像を用いた4Kテレビ画面での超解像度化実験である。25年度内に4Kテレビ用超解像装置を開発し、4Kテレビでの超解像実験も完了している。既に、平成26年度の目標であった主観評価実験に着手し、3種類の映像で実施した。全ての映像に対して提案する超解像技術は、既存の超解像技術を凌駕する結果が得られている。
平成26年度はパラメータの調整による、更なる高解像度化を行う予定である。また、映像の種類を増やして主観評価実験を継続し、最終目標である4Kテレビ画面を用いた実証実験を完了する予定である。
研究成果は積極的に発表を行った。本研究に関する研究発表は平成24年度1件(査読有)、平成25年度12件(査読有8件含む)、学会発表は平成24年度9件(招待講演1件含む)、は平成25年度7件(招待講演1件含む)成果を上げた。本研究関連知財としては、平成25年度3件の特許登録を果たした。
平成24年11月、平成25年10月にプレスを行い、10社を越える企業から本研究に関する問い合わせを受けている。2度目のプレス直後から、韓国および中国のテレビメーカから問い合わせが来ている。平成26年度には、世界最大の映像機器展であるNAB2014で研究成果を発表・展示する予定である。
平成25年度末までに、従来不可能と考えられてきたサンプリング定理を越える映像超解像化アルゴリズムの開発に成功し、4Kおよび8Kテレビでのリアルタイム処理を実現した。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

研究が進展した最大の理由は、超解像アルゴリズムの再検討によりハードウエア用高速信号処理を考案した事によると考えている。平成24年度にハードウエア開発を行い、30フレーム/秒で動作可能な実験装置を試作した。しかしながら、テレビ信号は60フレーム/秒であり、処理速度が不十分であった。超解像アルゴリズムの再検討を行い、高速化の際にボトルネックとなっている画面水平方向および垂直方向の信号処理を細部に渡って見直した。その結果、画素ごとに行われる非線形演算で時間を消費していることが判明した。高速化を図るために、演算時の有効数字桁数の見直し、並列信号処理の導入、FPGA(Field-programmable gate array)内部の信号経路の見直しを行った。これらの見直しによる超解像機能の低下が起きないことをさまざまな映像でシミュレーションにより確認した。シミュレーションの結果、パラメータの見直しを行えば問題なく、映像の性質によってはこれまでよりも高画質化することが判明した。シミュレーションの成果をハードウエアに展開し、60フレーム/秒の高速化に成功した。
研究開始時は想定しなかったハプニングとして、提案する超解像処理により原画像のノイズが強調される現象が発生した。対策として、2次元フィルタを新たに設計し、FPGA内に実装することで大幅な改善を行った。60フレーム/秒の高速処理や2次元フィルタに関する研究成果は、近日中に学会で発表する予定である。
研究発表、学会報告、特許登録のいずれも平成25年度は平成24年度を上回っており、研究が加速し、多くの成果を上げたと考えられる。これらの成果を踏まえ、最終年度となる平成26年度で研究を完了する予定である。

Strategy for Future Research Activity

平成26年度の目標は4Kテレビ画面を用いた実証実験である。提案する超解像技術が、既存の超解像技術を凌駕していることを証明することが本年度の目標となる。
4Kテレビを購入する一般視聴者は非専門家である。画質は一部の専門家でなくては評価できないと考えられているが、きちんとトレーニングを行えば非専門家でも再現性のある評価結果が得られる。国際評価基準ITU-R BT.500でも、評価者はトレーニングを行った非専門家で主観評価実験を行うことを定めている。提案する超解像技術と既存超解像技術との差異は非専門家に認識されなければ価値がないと考えている。
本年は既存超解像技術と提案する超解像技術を用いて、非専門家による主観評価実験を実施する。ITU-R BT.500を基本とした主観評価実験手法は平成24年度および25年度で完成させ、本研究の成果の一環としてEurasip journalに 論文として掲載されている。提案した主観評価手法は、画質評価結果を数値化し定量的な測定が可能な手法であり、実験の再現性も非常に高い。
最終年度である平成26年度は、この主観評価方法を用いて本研究成果がこれまでにない高画質化を実現することを定量的に証明する方針である。

Expenditure Plans for the Next FY Research Funding

レイキャビック出張において、通信費が不要だったため約2万円が残った。
2014年度も積極的に学会報告を行う予定であり、学会参加費として有効に活用する。

  • Research Products

    (35 results)

All 2014 2013 2012 Other

All Journal Article (12 results) (of which Peer Reviewed: 8 results) Presentation (16 results) (of which Invited: 2 results) Remarks (5 results) Patent(Industrial Property Rights) (2 results)

  • [Journal Article] 再構成超解像の限界2014

    • Author(s)
      合志清一
    • Journal Title

      映像情報メディア学会論文誌

      Volume: 68 Pages: 169-173

    • Peer Reviewed
  • [Journal Article] Subjective Assessment of HDTV with Superresolution Functi2014

    • Author(s)
      Seiichi Gohshi, Takayuki Hiroi and Isao Echizen
    • Journal Title

      EURASIP Journal on Image and Video Processing 2014

      Volume: 2014:11 Pages: 1-10

    • DOI

      10.1186/1687-5281-2014-11 http://jivp.eurasipjournals.com/content/pdf/1687-5281-2014-11.pdf

    • Peer Reviewed
  • [Journal Article] 非線形超解像技術を用いた4K-8K変換2014

    • Author(s)
      合志清一
    • Journal Title

      Ohm Bulletin

      Volume: 49 Pages: 10-12

  • [Journal Article] 4Kを8Kへリアルタイム処理する超解像技術2013

    • Author(s)
      合志清一
    • Journal Title

      放送ジャーナル

      Volume: 43-11 Pages: 65

  • [Journal Article] Performance Verification of Super-Resolution Image Reconstruction2013

    • Author(s)
      Masaki Sugie and Seiichi Gohshi
    • Journal Title

      2013 International Symposium on Intelligent Signal Processing and Communication Systems (ISPACS 2013)

      Volume: TA1-C-4 Pages: 547–552

    • Peer Reviewed
  • [Journal Article] 再構成超解像の限界2013

    • Author(s)
      合志清一
    • Journal Title

      画像ラボ

      Volume: 24 Pages: 13-19

  • [Journal Article] 真の超解像を実現するFE超解像技術2013

    • Author(s)
      合志清一、田端宏至、中村晋一郎
    • Journal Title

      映像情報Industrial

      Volume: 45 Pages: 10-16

  • [Journal Article] Limitations of Super Resolution Image Reconstruction and How to Overcome them for a Single Image2013

    • Author(s)
      Seiichi Gohshi and Isao Echizen
    • Journal Title

      ICETE2013

      Volume: SIGMAP Pages: 71-78

    • Peer Reviewed
  • [Journal Article] Limitation of Super Resolution Image Reconstruction for Video2013

    • Author(s)
      Seiichi Gohshi
    • Journal Title

      Fifth International Conference on Computational Intelligence, Communication Systems and Networks (IEEE Computer Society)

      Volume: CICSyn Pages: 217-221

    • Peer Reviewed
  • [Journal Article] Late-News Paper: Real-Time Up-Converter from HDTV to 4K with Super Resolution2013

    • Author(s)
      Seiichi Gohshi, Shinichiro Nakamura and Jin Ogasawara
    • Journal Title

      Society for Information Display SID 2013 DIGEST

      Volume: 42.2 Pages: 582-585

    • Peer Reviewed
  • [Journal Article] Subjective Assessment for HDTV with Super-Resolution Function2013

    • Author(s)
      Seiichi Gohshi and Isao Echizen
    • Journal Title

      Seventh International Workshop on Video Processing and Quality Metrics for Consumer Electronics

      Volume: VPQM 2013 Pages: 32-26

    • Peer Reviewed
  • [Journal Article] A New Signal Processing Method for Video Image -Reproduce the Frequency Spectrum Exceeding the Nyquist Frequency-2013

    • Author(s)
      Seiichi GOHSHI
    • Journal Title

      The Era of Interactive Media, Springer

      Volume: Computer Science Pages: 593-604

    • DOI

      10.1007/978-1-4614-3501-3_49

    • Peer Reviewed
  • [Presentation] 映像のリアルタイム超解像化2014

    • Author(s)
      合志清一
    • Organizer
      JST分野別新技術説明会(ビッグデータ)
    • Place of Presentation
      科学技術振興機構(東京都市ヶ谷)
    • Year and Date
      20140214-20140214
  • [Presentation] 招待講演「理論限界を超える高精細化」2013

    • Author(s)
      合志清一
    • Organizer
      画像符号化シンポジウム(PCSJ2013)/映像メディア処理シンポジウム(IMPS2013)
    • Place of Presentation
      静岡県熱海市泉107ニューウェルシティ湯河原
    • Year and Date
      20131106-20131107
    • Invited
  • [Presentation] HDTV・4KTVアップコンバータの開発-いか にしてナイキスト周波数を超えるか- (ポスター発表)2013

    • Author(s)
      合志清一
    • Organizer
      画像符号化シンポジウム(PCSJ2013)/映像メディア処理シンポジウム(IMPS2013)
    • Place of Presentation
      静岡県熱海市泉107ニューウェルシティ湯河原
    • Year and Date
      20131106-20131107
  • [Presentation] HDTV用再構成超解像の現状2013

    • Author(s)
      合志清一
    • Organizer
      電子情報通信学会ソサイエティ大会,A-4-3
    • Place of Presentation
      福岡工業大学
    • Year and Date
      20130917-20130920
  • [Presentation] 再構成型超解像技術と固体撮像デバイスに関する考察2013

    • Author(s)
      合志清一
    • Organizer
      映像情報メディア学会年次大会2013年(1-1)
    • Place of Presentation
      工学院大学
    • Year and Date
      20130828-20130830
  • [Presentation] 再構成超解像の周波数解析2013

    • Author(s)
      合志清一
    • Organizer
      電子情報通信学会研究会 CS2013-8, Vol.113, No.114, pp.1-6
    • Place of Presentation
      与那国島
    • Year and Date
      20130704-20130705
  • [Presentation] 再構成超解像の周波数解析2013

    • Author(s)
      合志清一
    • Organizer
      画像電子学会年次大会 R7-4
    • Place of Presentation
      青森県青森市文化会館
    • Year and Date
      20130622-20130623
  • [Presentation] [招待講演] 超解像技術の現状と将来2013

    • Author(s)
      合志清一
    • Organizer
      映像情報メディア学会研究会, ITE Technical Report Vol.37, No.15, CE2013-16 (Mar.2013)
    • Place of Presentation
      京都:キャンパスプラザ京都6階
    • Year and Date
      20130314-20130314
    • Invited
  • [Presentation] 再構成超解像におけるイテレーションと画質2012

    • Author(s)
      合志 清一、関口祐之、 清水嘉泰、 池永剛
    • Organizer
      映像情報メディア学会2012年冬季大会、4-10
    • Place of Presentation
      東京理科大学神楽坂キャンパス
    • Year and Date
      20121218-20121219
  • [Presentation] 再構成型超解像技術の限界2012

    • Author(s)
      合志清一、越前功
    • Organizer
      電子情報通信学会研究会 VOL.36, NO.48, pp.1-6
    • Place of Presentation
      鹿児島大学
    • Year and Date
      20121115-20121116
  • [Presentation] 非線形処理を用いた超解像技術の提案と画質評価2012

    • Author(s)
      合志清一、 関口祐之、 清水嘉泰、 池永剛
    • Organizer
      電子情報通信学会研究会 Vol.112, No.225, PRMU2012-62-44, pp.59-64
    • Place of Presentation
      幕張メッセ
    • Year and Date
      20121005-20121006
  • [Presentation] 非線形処理を用いた映像の超解像化2012

    • Author(s)
      合志清一、 関口祐之、 清水嘉泰、 池永剛
    • Organizer
      電子情報通信学会ソサイエティ大会 A-6-1, 2012 年
    • Place of Presentation
      富山大学
    • Year and Date
      20120914-20120914
  • [Presentation] 再構成超解像の新たなる課題2012

    • Author(s)
      合志清一、 関口祐之、 清水嘉泰、 池永剛
    • Organizer
      電子情報通信学会ソサイエティ大会 A-6-3, 2012 年
    • Place of Presentation
      富山大学
    • Year and Date
      20120911-20120914
  • [Presentation] 超解像化映像の主観評価2012

    • Author(s)
      合志清一、 関口祐之、 清水嘉泰、 池永剛
    • Organizer
      電子情報通信学会ソサイエティ大会 A-6-2, 2012 年
    • Place of Presentation
      富山大学
    • Year and Date
      20120911-20120914
  • [Presentation] 再構成超解像技術の限界2012

    • Author(s)
      合志清一
    • Organizer
      映像情報メディア学会年次大会、23-3
    • Place of Presentation
      広島市立大学
    • Year and Date
      20120829-20120831
  • [Presentation] 非線形処理を用いた超解像2012

    • Author(s)
      合志清一、 越前功
    • Organizer
      電子情報通信学会研究会 Vol.112, No.190, EMM2012-44, pp.51-56
    • Place of Presentation
      山口大学
    • Year and Date
      20120828-20120829
  • [Remarks] 世界初 4K を 8K 表示へ 表示へ 表示へ と変換可能な 超解像 技術 を開

    • URL

      http://kogakuin.jp/press_release/2013/cbr7au00000267d5-att/100901.pdf

  • [Remarks] 産学連携開発による4Kテレビ向け高精細な超解像技術がSID2013へ出展

    • URL

      http://www.news1st.jp/index.php?s=33&item=2866

  • [Remarks] 工学院大学が世界最大級のコンファレンス・展示会「NAB SHOW 2014」に出展

    • URL

      http://www.u-presscenter.jp/modules/bulletin/index.php?page=article&storyid=6360

  • [Remarks] 国内TVメーカーにはどう見えるのか? 工学院大が“真の超解像技術”で4K映像を8K化

    • URL

      http://eetimes.jp/ee/articles/1310/24/news064.html

  • [Remarks] 「理論限界を超える高精細化を実現」、4Kテレビ向け超解像で工学院が新提案

    • URL

      http://eetimes.jp/ee/articles/1212/19/news019.html

  • [Patent(Industrial Property Rights)] 画像処理装置、画像処理方法2013

    • Inventor(s)
      合志清一, 小笠原仁, 中村晋一郎
    • Industrial Property Rights Holder
      (株)計測技術研究所
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      第5403450
    • Filing Date
      2013-02-25
    • Acquisition Date
      2013-11-08
  • [Patent(Industrial Property Rights)] 画像強調装置、画像強調方法2012

    • Inventor(s)
      合志清一
    • Industrial Property Rights Holder
      (株)計測技術研究所
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      第5320538
    • Filing Date
      2012-08-09
    • Acquisition Date
      2013-07-26

URL: 

Published: 2015-05-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi