|
本課題では、静止画像ではなく動画像を用いた文字列(テキスト)の認識を検討している。動画像の利用により認識できるテキストの長さの制約を排除できると考えられる。また動画像中のオーバーラップした領域を用いることにより、モザイキングにより生成されるテキスト画像の質の向上が期待できる。ただし、撮影中の手ぶれにより生じる文字の変形、および複数フレームへの分断に対処する必要がある。
今年度は、動画像を用いたテキスト認識を目的として、フレーム画像に生じる手ぶれ変動の補償、分断されたテキストを含む複数フレームの接合(モザイキング)、ならびにテキスト認識を一括して実行する手法"Mosaicing-by-Recognition法"を提案し、その評価実験を行なった。本手法では、フレーム画像に生じる様々な変動をパラメータ化し、それを最適化する。具体的には、フレーム画像内に生じる手ぶれ変動を補償しながら、フレーム画像と標準文字パターンとを連続的にマッチングし、テキスト認識結果およびフレーム統合結果を同時に最適化する。またその際、同時に隣接フレームのマッチングを行なうことを併せて提案している。その結果、(i)最適変動補償すなわち手ぶれ補償、(ii)複数フレームの最適接合、および(iii)テキスト認識の3つの処理を同時にかつ高精度に行うことが可能である。
手ぶれによる変動を含む動画像テキストに対する評価実験の結果、様々な手ぶれを起こした場合でも95%前後の文字認識率が得られ、本手法の有効性が確認できた。またフレーム間マッチングの導入を検討し、モザイキングおよび認識精度の向上を更なる実験により確認した。
以上の結果について、適宜、学術雑誌、国内外の会議において発表し、高い評価を得ている。
|
