2017 Fiscal Year Annual Research Report
| Project/Area Number |
16H05864
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
大石 岳史 東京大学, 生産技術研究所, 准教授 (80569509)
|
|---|
| Project Period (FY) |
2016-04-01 – 2020-03-31
|
| Keywords | 複合現実感 / ３次元ビジョン / コンピュータビジョン / 視覚情報処理 |
|---|
| Outline of Annual Research Achievements |
平成２９年度はモビリティMRの基礎技術として前年度に開発した計測３次元データ及び複数カメラから得られた画像を用いたモビリティの位置姿勢推定手法の評価を行った。GPS測位が困難な都市空間の実験環境において、6cm未満の位置精度、0.2度未満の姿勢精度が得られることを確認した。
MRにおいては仮想物体と実物体を奥行方向に正しい順序で表示する遮蔽処理が奥行き知覚を高めるために重要である。本年度は、低い精度の奥行き画像と、シーンのセマンティック情報を用いて違和感のない遮蔽を実現する手法を開発した。計測された3次元データとカメラの相対位置姿勢が正しく推定されていれば、計測データからシーンの奥行きを取得し、遮蔽を表現できる。しかし実際には位置姿勢推定には誤差が含まれ、また未計測箇所や樹木などの３次元データが精度が不十分であるといった問題もある。そこで精度が低い奥行画像とセマンティック分割されたラベル画像から前景背景の疎な確率マップを推定し、この確率マップと半透明知覚に基づく遮蔽描画手法によって違和感のない遮蔽処理を実現する手法を開発した。
また前述のように事前計測データを用いる場合、静的な物体の遮蔽処理は可能であるが、人や車といった動的な物体への奥行きはオンラインで推定する必要がある。モビリティの場合、移動を前提としているため入力カメラ映像からオプティカルフローを求めることは可能であり、さらに移動量が既知とすればシーン全体の奥行きを推定することができる。ただし移動量には誤差が含まれているため正しい奥行きを求めることは難しい。そこでオプティカルフローと３次元形状の拘束条件を緩和し、位置姿勢推定に誤差が含まれている場合でも高精度なオプティカルフローと奥行き画像を同時に推定できる手法を開発した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は奥行き知覚向上のための遮蔽処理手法とそれに関連する奥行き推定手法の開発を目的として順調に開発を行った。ただし、成果発表として後者は国際会議に採択されたが、前者は採択に至らなかったため研究の継続と手法の改良が今後必要であると考えている。また次年度以降の課題であるオプティカルシースルー表示のための視線追跡技術の高精度化にも一部着手した。
|
| Strategy for Future Research Activity |
これまでは主にモビリティMRの実現に向けた基礎技術の開発を進めてきたが、次年度以降はオプティカルシースルー（OST）HMDによる屋外MRの実現に向けて、視線追跡技術やOSTにおける遮蔽処理手法の開発を進めていく。また基礎技術としてカメラの位置姿勢推定の高精度化は並行して進めていく。
|
