2011 Fiscal Year Research-status Report
ライティング・ライフログ： 画像検索に基づくカメラペンインタフェースの挑戦
| Project/Area Number |
23650063
|
|---|
| Research Institution | Osaka Prefecture University |
|---|
Principal Investigator |
黄瀬 浩一 大阪府立大学, 工学(系)研究科(研究院), 教授 (80224939)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
岩村 雅一 大阪府立大学, 工学(系)研究科(研究院), 准教授 (80361129)
大町 真一郎 東北大学, 工学(系)研究科(研究院), 教授 (30250856)
内田 誠一 九州大学, システム情報科学研究科(研究院, 教授 (70315125)
|
|---|
| Project Period (FY) |
2011-04-28 – 2013-03-31
|
| Keywords | 情報システム / ライフログ / カメラペン / 画像検索 / 文書画像 |
|---|
| Research Abstract |
本研究の目的は，文書画像検索に基づくライティング・ライフ・ログの実現である．すなわち，カメラを取り付けたペン（カメラペン）を用いて筆記対象となる文書を検索し，ペン先の動きをトレースすることによって筆跡を得るとともに，それを筆記対象の文書に対応つける．平成２３年度の目標は文書画像検索，筆跡獲得，文字認識・図形認識，画像トラッキング，画像取得の安定化と超解像であった．各々について実績を以下に示す．文書画像検索，筆跡獲得：カメラペンを用いて文書画像検索を施し，筆跡を獲得することに成功した．画像トラッキング：カメラペンの画像処理にトラッキングを導入することによって，従来法の筆跡復元精度を大幅に改善（悪条件下で数％から９０％）することができた．文字認識・図形認識：基礎的な検討に留まった．画像取得の安定化と超解像：当初安定化のために複数台のカメラを用いることや超解像処理を導入することを検討したが，残念ならが十分な成果を得ることができなかった．そこで，方針を切り替えて，トラッキング処理を用いて画像取得を安定化させることを試みた．その結果，前述のように筆跡の復元精度を大幅に改善することができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
上記研究実績の概要にもあるように，文字認識・図形認識以外の項目については順調に進めることができた．しかしながら，研究や実験を重ねるにつれて，現在の方式を保ったままで一般的な筆記に耐え得る，ライティング・ライフ・ログの実現が可能かどうかについて，疑問が生じてきた．この理由は，改善された精度を持ってしても，やはり筆跡復元に失敗することがあり，それを回避できないためである．根本的な原因は，本方式がカメラペンのペン先の移動量を推定して，筆跡を復元している点にある．そのため，例えば，ペンアップ（ペン先が紙面から離れた状態）やペンダウン（ペン先が紙面についた状態）の判定が難しい，復元された筆跡が乱れても検証できないという問題が生じている．この点を解決することができていないため，最終目標の達成に対して，達成度を「やや遅れている」とした．なお，当初の計画に対しては，文字認識・図形認識以外については目標を達成しているため，「概ね順調に進展している」と判断している．
|
| Strategy for Future Research Activity |
「現在までの達成度」に記載したとおり，現在の方式をそのまま継続開発して目標が達成できるかどうか，疑問が残る点が出ている．そのため，本年度は次の２通りを試すこととする．(1) 方式１： 現在の方式をそのまま継承し，改良・機能追加を行う．改良としては，ペンの早い動きに対応するために高速カメラを利用したり，トラッキングを改善したりする．機能追加としては，画像処理を用いてペンアップとペンダウンの判定を行う．具体的には，実際にペンで書いた筆跡を読み取ることによって，そのような筆跡があればペンダウン，なければペンアップとする．(2) 方式２： 現在，別の研究においてリーディング・ライフ・ログの実現を検討している．これは，同様に文書画像検索を用いて，ユーザが読んだ文書の箇所をすべて記録するというものである．このためにユーザに，ユーザ視点の映像を得るためのカメラを取り付けている．方式２はこのカメラをライティング・ライフ・ログの実現にも用いるものである．人間は筆記の際，必ず自身の筆跡を見ながら書いている．これはユーザ視点の映像には必ず筆跡が含まれていることを意味する．これを用いると，方式１で述べた，動きブレやペンアップ・ペンダウンの判定などの問題点を一挙に解決できる．そこで本研究ではこちらの方式についても検討を進めることとする．
|
| Expenditure Plans for the Next FY Research Funding |
平成２３年度は「現在までの達成度」に述べた問題点があったため，その問題点の見極めに多くの時間を割いたことから，研究のための資源をすべて方式１に投入することができず，繰越が生じた．ただし，その結果として，「今後の研究の推進方策」で述べたような方針を定めることができた．平成２４年度には，この方針にしたがって研究費を使用する予定である．具体的には物品として，方式１を実現するためのペンやカメラ，方式２を実現するためのカメラ，ならびに両者で利用するための計算機を購入予定である．また，平成２４年度は，２３年度に行うことができなかった学会発表についても，積極的に勧めていく予定である．その他は，データ取得や実験補助のための謝金を支出予定である．
|
