2021 Fiscal Year Annual Research Report
Challenge to vision technology without cameras
| Project/Area Number |
18K19772
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
大町 真一郎 東北大学, 工学研究科, 教授 (30250856)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
菅谷 至寛 東北大学, 工学研究科, 准教授 (80323062)
宮崎 智 東北大学, 工学研究科, 助教 (10755101)
|
|---|
| Project Period (FY) |
2018-06-29 – 2022-03-31
|
| Keywords | パターン認識 / コンピュータビジョン / センサ融合・統合 |
|---|
| Outline of Annual Research Achievements |
ユーザがウェアラブルカメラなどを用いて自分の視点に相当する映像を取得することで、さまざまなサービス提供が可能となる。しかし、肖像権やプライバシーの問題によって、そのような映像取得は実際には難しいことが多い。そこで、ユーザがカメラを持ち歩く代わりに監視カメラ等の既設の固定カメラを利用し、その映像とユーザの行動を結びつけることでビジョン技術を活用するための技術を開発した。具体的には、固定カメラ映像からユーザの視線の先にあるオブジェクトを検出することでユーザの行動を把握し、適切なサポートを行うツールを提供することを目的とした。本年度は、昨年度までに構築した要素技術を統合し、全体システムを構築した。固定カメラから得られた映像をもとにユーザの視線を推定する技術と、ユーザが携行しているセンサ情報をもとにユーザの動きを推定する技術とを組み合わせることで、より正確にユーザの視線を検出する手法を開発し、実験用の簡易的なシステムを構築した。複数の実験参加者により、視線を移動させながら対象物を見てもらう実験を行い、ユーザの視線がある程度正確に推定できることを確認した。
一方、画像中からテキスト領域を高精度に検出し、認識する手法についても検討した。機械学習を基本とし、テキストの形状を考慮し、ニューラルネットワーク中の複数の階層からテキストらしい領域を検出し、統合することで最終的にテキスト領域を特定する。また、その際に、環境中にある多くのテキストのうち重要なテキストを特定することでユーザにとってより有益な情報を提供する手法を開発した。どのテキストがどの程度重要かを表すデータベースを構築し、画像特徴を用いて機械学習により重要度を学習し、画像が与えられたときにその中のテキストの重要度を推定する。さらに、多様なテキスト画像を機械学習により高精度に認識するための学習データ生成手法についても検討した。
|
